Optimization problems for deep neural networks

Résumé

Les méthodes d’apprentissage profond reposent fortement sur la descente de gradient pour résoudre de nombreux problèmes de reconnaissance de forme. Étant donné les limitations connues de cette méthode d’optimisation, il est donc important de soigneusement formuler les objectifs pour résoudre efficacement et avec précision les tâches d’apprentissage et de vérification de ce domaine. En particulier, les chercheurs ont principalement utilisé des méthodes de pénalité pour gérer des contraintes et introduits de nombreux hyperparamètres pour faciliter l’optimisation. Dans cette thèse, nous proposons de revisiter certains de ces problèmes, de les analyser à travers le prisme de l’optimisation et d’utiliser des outils connus de la littérature d’optimisation pour les résoudre de manière plus précise et efficace. Notre première contribution est de prendre du recul par rapport à la littérature sur l’apprentissage profond de métrique et remarquer que la plupart des méthodes proposées ces dernières années et basées sur les paires ont des objectifs similaires. En effet, elles cherchent toutes à maximiser la même quantité : l’information mutuelle. En outre, la minimisation de la fonction de coût entropie croisée peut aussi être interprété comme la maximisation de l’information mutuelle. Cela suggère que l’utilisation de l’entropie croisée pour apprendre les paramètres d’un modèle profond d’apprentissage de métrique soit une solution viable. Nous confirmons cela expérimentalement, où la simplicité de l’entropie croisée permet d’obtenir des résultats de pointe sur tous les jeux de données habituellement utilisés. En deuxième contribution, nous étudions plusieurs problèmes liés à la robustesse adverse, et en particulier, aux attaques adverses. Ces problèmes peuvent être formulés comme la minimisation d’une mesure de différence, combinée à une (ou plusieurs) contrainte(s) de classification erronée, avec des contraintes additionnelles sur les images. Nous développons un premier algorithme simple afin de générer des exemples adverses minimisant la norme ℓ2 pour des modèles de classification. Comme de nombreuses attaques adverses publiées ultérieurement, cette méthode est efficace, mais manque de généralité, car elle est conçue spécialement pour une distance. Par conséquent, nous développons une deuxième attaque adverse pour les modèles de classification, basée sur une approche de Lagrangien augmenté. Cette attaque bénéficie de la généralité des méthodes de pénalité, qui peuvent accommoder de nombreuses mesures de différence lisses, et de l’efficacité des algorithmes spécifiques à une distance. Notre but est de fournir un cadre générique servant de point de départ aux futurs chercheurs lors de la conception d’attaques adverses spécifiques à de nouvelles mesures. Enfin, nous étudions les attaques dans le contexte d’une tâche de prédiction dense : la segmentation sémantique. Dans ce contexte, les attaques adverses peuvent être formulées comme un problème d’optimisation avec des millions de contraintes de classification erronée. Ainsi, nous tirons parti de notre méthode basée sur les Lagrangiens augmentés pour gérer une telle quantité de contraintes, et le combinons avec une méthode de séparation proximale pour minimiser la norme ℓ∞ non lisse. Cette attaque est, à notre connaissance, la première à résoudre précisément le problème des perturbations adverses minimales pour la segmentation sémantique. Notre troisième contribution concerne l’étalonnage des réseaux de neurones profonds dans les tâches de classification. À la suite de travaux récents qui ont montré l’avantage d’utiliser des contraintes sur la sortie d’un modèle pour améliorer l’étalonnage, nous généralisons cette approche dans le cadre des Lagrangiens augmentés. En particulier, nous abordons les contraintes avec des pénalités adaptatives par classe. Cela permet d’obtenir une méthode extensible pour la classification et la segmentation, qui obtient des résultats de pointe en termes de classification et d’étalonnage.

Date	24 avr. 2023
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Ismail Ben Ayed (Directeur(-trice)) & Éric Granger (Codirecteur(-trice))