The hidden costs of efficient visual representation learning

Résumé

L’apprentissage efficace de représentations visuelles constitue un défi central en vision par ordinateur moderne. À mesure que les modèles visuels sont de plus en plus utilisés pour des images à haute résolution et des tâches de prédiction dense, ils doivent capturer des dépendances à longue portée sans devenir prohibitifs sur le plan computationnel. Les Vision Transformers répondent à ce besoin en utilisant l’auto-attention pour modéliser les interactions globales entre les patchs d’image, mais la complexité quadratique de l’auto attention limite leur passage à l’échelle. Cela a motivé le développement d’alternatives plus efficaces, telles que les modèles à espace d’états (State Space Models, SSMs) et l’attention linéaire, qui réduisent le coût des interactions entre tokens. Cependant, l’efficacité computationnelle seule ne suffit pas pour assurer un apprentissage fiable des représentations visuelles. Ces modèles doivent également être robustes aux changements des conditions d’entrée et suffisamment expressifs pour capturer des relations complexes entre les régions de l’image. Cette thèse étudie les coûts cachés introduits par les mécanismes efficaces d’interaction entre tokens dans l’apprentissage de représentations visuelles. Premièrement, nous examinons la robustesse des SSMs face aux transformations géométriques. Les SSMs traitent les patchs d’image selon des ordres de balayage séquentiels fixes, ce qui permet une modélisation globale avec une complexité linéaire. Cependant, cette conception impose un ordre unidimensionnel fixe à des données d’image intrinsèquement bidimensionnelles. Par conséquent, les représentations apprises peuvent devenir sensibles au chemin de parcours choisi et instables face à des transformations géométriques telles que la rotation. Pour remédier à cette limitation, nous introduisons Spectral VMamba, un SSM visuel qui utilise la décomposition spectrale du laplacien de graphe des patchs d’image afin de définir le parcours des patchs selon la structure intrinsèque de l’image, plutôt que selon des directions spatiales fixes. Cela permet un traitement des patchs invariant à la rotation tout en préservant les avantages d’efficacité des SSMs. Deuxièmement, nous examinons la robustesse des SSMs en présence de décalage de distribution, lorsque les images de test diffèrent des données d’entraînement en raison de corruptions, de changements de domaine ou de variations liées à l’acquisition. Dans les SSMs, les patchs sont traités séquentiellement, et l’état caché à chaque étape transporte le contexte accumulé à partir de tous les patchs précédemment traités. En présence de décalage de distribution, les embeddings de patchs corrompus sont injectés dans l’état caché et se propagent à travers toutes les mises à jour suivantes. De plus, comme les ordres de balayage fixes injectent toujours ces artefacts à la même position dans la séquence de parcours, leur influence est systématiquement amplifiée plutôt que diluée. Pour répondre à ce problème, nous proposons TRUST, une méthode d’adaptation au moment du test conçue pour les modèles visuels basés sur Mamba. TRUST génère des vues causales complémentaires de l’entrée à l’aide de permutations diverses du parcours, filtre les prédictions selon l’incertitude afin de ne conserver que les permutations fiables, et met à jour les paramètres spécifiques à Mamba au moment de l’inférence, sans nécessiter de données sources ni de réentraînement. Cela permet au modèle d’adapter ses paramètres vers des représentations plus robustes sous des distributions de test décalées. Troisièmement, nous abordons les limitations d’expressivité de l’attention linéaire. Bien que l’attention linéaire améliore le passage à l’échelle en évitant le coût quadratique de l’autoattention, les formulations kernelisées standards reposent principalement sur des interactions directes et de premier ordre entre les tokens. Par conséquent, elles peuvent avoir des difficultés à capturer des relations d’ordre supérieur ou transitives entre les régions de l’image. Pour surmonter cette limitation, nous introduisons LiSA, un module d’attention stochastique linéaire qui reformule l’attention comme une marche aléatoire tronquée sur un graphe de patchs d’image. Grâce à la propagation d’information multi sauts, LiSA capture des relations plus complexes entre tokens tout en préservant une complexité linéaire et un entraînement stable. À travers la classification d’images, la segmentation sémantique et la détection d’objets, les méthodes proposées améliorent la robustesse et la qualité des représentations tout en maintenant l’efficacité computationnelle. Dans l’ensemble, cette thèse montre que la conception de backbones visuels efficaces ne doit pas être évaluée uniquement en fonction du coût computationnel. La scalabilité doit plutôt être considérée conjointement avec la robustesse et l’expressivité des interactions entre tokens, en particulier lorsque les modèles sont appelés à fonctionner de manière fiable face aux variations visuelles du monde réel.

Date	10 sept. 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Christian Desrosiers (Directeur(-trice)) & Hervé Lombaert (Codirecteur(-trice))