One-shot neural architecture search for computer vision

Résumé

L’apprentissage profond a connu un succès remarquable dans le domaine de la vision par ordinateur grâce aux avancées des réseaux de neurones convolutifs (CNN). Cependant, la conception de modèles CNN optimaux (architectures) pour une nouvelle application est une tâche fastidieuse qui nécessite une expertise pointue ainsi qu’un long processus d’essais et d’erreurs. La recherche d’architecture neuronale (NAS) est apparue au cours de la dernière décennie comme une solution pour automatiser ce processus de conception. Les méthodes « one-shot » constituent l’une des principales approches de la NAS. Elles permettent de réduire le coût de calcul en entraînant un unique super-réseau contenant toutes les architectures possibles de l’espace de recherche, et en héritant directement de ces poids pour évaluer les performances. Cependant, un problème fondamental de la NAS one-shot est la dégradation de la qualité de l’estimation des performances du super-réseau, due aux conflits et à la co-adaptation des poids lors de l’entraînement. Ce problème peut être résolu en réduisant le partage de poids, soit en utilisant plusieurs super-réseaux pour différentes parties de l’espace de recherche, soit en se concentrant sur les zones prometteuses via une méthode d’échantillonnage. Cette thèse se concentre sur l’amélioration des méthodes de NAS one-shot sous divers aspects. Nous présentons d’abord une introduction à nos recherches et à nos contributions. Nous fournissons ensuite un contexte général sur les CNN, les différents types d’architectures, la recherche arborescente de Monte-Carlo (MCTS) et la NAS. Pour notre première contribution, nous abordons l’optimisation de la configuration du sous-échantillonnage des CNN comme un problème de NAS. Nous proposons un mélange équilibré de super-réseaux pour partitionner l’espace de recherche et réduire le partage de poids en attribuant des super-réseaux distincts à chaque partition. Nous proposons d’apprendre le partitionnement et l’association des architectures de manière équilibrée afin de garantir l’équité lors de l’entraînement de plusieurs super-réseaux. Ensuite, nous proposons deux approches pour apprendre la structure hiérarchique (arbre de recherche) de l’espace de recherche NAS pour la MCTS, simultanément à l’entraînement du super-réseau. Notre première approche consiste à apprendre la hiérarchie de l’espace de recherche de manière non supervisée. Nous proposons d’utiliser la similitude fonctionnelle des architectures, basée sur leur vecteur de sortie, pour construire cette hiérarchie. Contrairement aux travaux précédents, notre méthode n’utilise pas de conception hiérarchique par défaut ni de prédictions de performance imprécises issues du super-réseau. La seconde approche est une méthode itérative permettant d’affiner la hiérarchie en s’appuyant sur des estimations de performance de plus en plus précises. Ces deux approches facilitent la NAS one-shot en offrant un meilleur compromis entre exploration et exploitation, améliorant ainsi les performances finales tout en réduisant les coûts de recherche. Enfin, pour notre dernière contribution, nous étudions les conflits et la coopération des gradients des architectures échantillonnées pendant l’entraînement du super-réseau. Étant donné que les conflits de gradients ne sont pas uniformes dans l’espace lors d’une étape d’optimisation. Nous proposons une métrique de densité de gradient qui estime l’entrainement effectif reçu par une architecture en mesurant l’alignement de son gradient avec le reste de l’espace de recherche. Nous proposons une méthode d’échantillonnage sensible à la densité afin de réduire le biais dans l’entrainement effectif reçu lors de l’optimisation du super-réseau. Pour conclure, nous présentons une synthèse de nos travaux ainsi que des perspectives futures pour l’amélioration de la NAS one-shot.

Date	26 mai 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Marco Pedersoli (Directeur(-trice)) & Matthew Toews (Codirecteur(-trice))