Backpropagation-free adaptation of vision transformers for robust and efficient 3D and 2D perception

Résumé

Les modèles d’apprentissage profond ont obtenu d’excellents résultats en vision par ordinateur, en particulier avec l’arrivée des Transformers et des grands modèles de segmentation. Cependant, ces modèles sont souvent entraînés dans des conditions contrôlées et supposent que les données d’entraînement et de test suivent la même distribution. Dans la pratique, cette hypothèse est rarement vérifiée, surtout dans les applications industrielles en 3D, où les capteurs, les conditions de capture et les objets peuvent fortement varier. Ces décalages de domaine entraînent des chutes de performance importantes et limitent la fiabilité des systèmes en production. Cette thèse se concentre sur l’Adaptation en Temps de Test (Test-Time Adaptation, TTA) dans des scénarios concrets de vision 3D et d’objets industriels. Nous considérons deux cadres principaux. Le premier concerne la classification robuste de nuages de points avec des Transformers 3D soumis à des corruptions et à des changements de domaine. Le second porte sur la segmentation d’instances d’objets « modèle-basés » jamais vus à l’entraînement, mais décrits par des modèles CAO ou quelques vues de référence (scénario MISUO). Dans ces deux contextes, nous faisons face à des contraintes fortes : absence de labels en phase de test, impossibilité d’accéder aux données sources, et besoin de méthodes légères en temps de calcul et en mémoire. Notre première contribution introduit Purge-Gate, une méthode d’adaptation en temps de test sans rétropropagation pour les Transformers sur nuages de points. L’idée centrale est de travailler au niveau des tokens. Nous estimons, pour chaque token, à quel point il semble « déplacé » par rapport à la distribution source, puis nous supprimons les tokens les plus affectés avant les couches d’attention. Ainsi, le modèle concentre son attention sur des régions plus fiables du nuage de points. Nous proposons deux variantes : PG-SP, qui exploite des statistiques de la source lorsque celles-ci sont disponibles, et PG-SF, qui est entièrement sans source et utilise un prototype dérivé du token CLS. Ces deux variantes fonctionnent sans gradients en phase de test et améliorent nettement la robustesse, la vitesse et l’efficacité mémoire sur plusieurs benchmarks 3D corrompus. Dans notre deuxième contribution, nous revisitons le rôle de la Layer Normalization (LN) pour l’adaptation en temps de test des Transformers 3D. Nous montrons théoriquement que, lorsque la dimension des caractéristiques et la taille de lot augmentent, la sortie pré-affine de LN se concentre autour d’une moyenne nulle et d’une variance unitaire. Dans ce régime, ré-estimer des statistiques de lot à la manière de BatchNorm n’est pas nécessaire et peut même dégrader les performances. À partir de cette analyse, nous proposons LN-TTA, une méthode simple qui laisse intacte la partie pré-affine de LN et n’ajuste que les paramètres d’affinité (biais et gain) en une seule passe avant. LN-TTA est sans source, sans rétropropagation, très légère en calcul, et apporte des gains significatifs sur plusieurs suites de nuages de points corrompus. Enfin, notre troisième contribution étend ces idées à un cadre plus complexe : la segmentation d’instances d’objets modèle-basés jamais vus à l’entraînement. Nous présentons PRISMA, un cadre sans entraînement qui affine les prompts de grands modèles de segmentation à partir de prototypes visuels construits à partir de modèles CAO ou d’images multi-vues. PRISMA s’appuie sur trois modules complémentaires : (i) un module de génération de propositions de masques (MPG) qui utilise des descripteurs de type DINO pour proposer des régions d’intérêt adaptées aux objets, (ii) un module d’auto ancrage (Self-Grounding) qui injecte les prototypes d’objets dans le backbone et sépare tokens de premier plan et d’arrière-plan via une attention bloc-diagonale, sans réentraînement, et (iii) un schéma de pondération par la confiance (CW) qui exploite les scores internes du segmentateur pour mieux classer les prédictions. Sur le benchmark BOP, PRISMA améliore la qualité et la rapidité de la segmentation en MISUO par rapport aux méthodes existantes, tout en restant complètement sans entraînement. Dans l’ensemble, cette thèse montre qu’il est possible de rendre des modèles modernes de vision 2D/3D plus robustes et plus adaptés aux contraintes industrielles en s’appuyant sur des mécanismes d’adaptation en temps de test simples, analytiques et sans rétropropagation. En travaillant directement sur la normalisation, la sélection de tokens et l’exploitation de prototypes visuels, nous proposons une nouvelle boîte à outils pour déployer des modèles puissants dans des environnements 3D réels, sans nécessiter de coûteux processus de réentraînement.

Date	31 mars 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Christian Desrosiers (Directeur(-trice)) & Ismail Ben Ayed (Codirecteur(-trice))