Learning to localize objects with limited supervision

Résumé

Les détecteurs d’objets profonds sont omniprésents dans les industries d’aujourd’hui, répondant à de nombreuses exigences telles que l’inspection, l’automatisation, la surveillance, la surveillance, etc. détecteurs profonds affamés. L’étiquetage des images avec des cadres de délimitation est coûteux et prend du temps. Le coût est prohibitif lorsqu’une forte expertise est nécessaire pour l’étiquetage, par exemple, un radiologue étiquetant des images médicales. De plus, les détecteurs entièrement supervisés actuels ne suffiront pas à notre demande croissante car il est pratiquement impossible d’étiqueter des milliers d’images pour chaque tâche de détection d’objet que nous voulons résoudre. Ainsi, pour atténuer ce défi d’annotation pour la formation des détecteurs profonds modernes, la communauté explore de nombreuses directions, y compris la formation faiblement supervisée, auto-supervisée, semi-supervisée, adaptative au domaine et à quelques coups. Pour contribuer à cet effort, dans cette thèse, nous avons exploré des méthodes faiblement supervisées et semi-supervisées pour entraîner des systèmes de localisation pour la localisation mono-objet et multi-objet. Avec des méthodes faiblement supervisées, nous avons observé que les chercheurs utilisent une architecture par défaut et proposent des techniques pour améliorer sa localisation. Nous avons identifié les limites des architectures par défaut pour la localisation et la détection faiblement supervisées. Ensuite, nous nous sommes concentrés sur des architectures alternatives qui répondent à ces limitations et sont faciles à utiliser. Nos architectures proposées ont également montré des performances améliorées. Pour les méthodes semi-supervisées, nous nous concentrons sur l’amélioration de leur utilisabilité sur des applications utilisant l’imagerie aérienne. L’imagerie aérienne connaît un intérêt croissant de nos jours où de grandes collections d’images sont collectées à l’aide de drones et de satellites en mode surveillance. Il n’est pas possible d’utiliser cette collection sans méthodes semi-supervisées efficaces car les étiqueter n’est tout simplement pas une option. Différent des images naturelles, les images aériennes ont une résolution élevée en pixels et les objets sont minuscules. Une application directe des méthodes modernes de détection semi-supervisée sur ces images ne donnera pas les meilleurs résultats. Nous proposons une détection semi-supervisée sur mesure pour la détection d’objets minuscules sur des images aériennes à haute résolution. La première contribution de cette thèse est une architecture de localisation d’objet faiblement supervisée entièrement convolutive avec un composant de localisation apprenable. Différente de l’architecture CAM par défaut, notre méthode est entièrement convolutive et possède des composants séparés pour l’apprentissage de la localisation. Nous avons utilisé des transformateurs spatiaux de manière convolutive pour apprendre la localisation sous une forme paramétrique où la paramétrisation est de transformations affines. L’un des défis majeurs des méthodes de localisation faiblement supervisées est la localisation discriminative des régions. Dans notre architecture, cela peut être facilement réduit en spécifiant une contrainte de régularisation sur les paramètres de localisation appris. Grâce à des études empiriques approfondies, nous avons établi une localisation améliorée et un contrôle flexible de notre projet de réseau de localisation entièrement convolutif faiblement supervisé. La deuxième contribution propose une méthode pour réutiliser les architectures de détection d’objets existantes pour la détection d’objets faiblement supervisés au lieu du choix par défaut WSDDN. Bien qu’il existe de nombreuses architectures de détection d’objets proposées pour la détection d’objets génériques, les chercheurs travaillant sur des détecteurs faiblement supervisés utilisent l’architecture WSDDN car il n’est pas possible de traduire la supervision globale au niveau de l’image fournie par les étiquettes d’image en étiquettes locales au niveau de l’instance. Nous avons proposé une méthode de construction de pseudo-étiquettes basée sur l’échantillonnage à l’aide de laquelle les étiquettes au niveau de l’image peuvent être traduites en étiquettes au niveau de l’instance, entraînant ainsi le détecteur à l’aide de détecteurs prêts à l’emploi. Nous avons également montré que les performances du détecteur basé sur l’échantillonnage peuvent être améliorées de manière significative en utilisant des images annotées. La troisième contribution concerne l’adaptation des détecteurs semi-supervisés grand public pour s’entraîner sur des images aériennes à haute résolution. La détection d’objets d’images aériennes peut bénéficier de manière significative si des détecteurs semi-supervisés efficaces peuvent être conçus car de nombreuses images sont collectées en mode surveillance à l’aide de drones et de satellites. Ils ne sont tout simplement pas utilisés pendant la formation en raison du manque d’annotations. Nous avons observé que les minuscules objets dans les images aériennes à haute résolution ne peuvent pas être pseudo-étiquetés efficacement pour une formation semi-supervisée. Pour résoudre ce problème, nous avons utilisé des cultures de densité où les régions à forte concentration de petits objets sont identifiées et rognées. Ces régions sont ensuite traitées par mise à l’échelle pour une meilleure détection des petits objets. Cette formation basée sur la densité des cultures est mise en oeuvre dans le détecteur, ce qui donne plus de pseudo-étiquettes pour les objets minuscules, ce qui se traduit par une détection améliorée des objets semi-supervisés sur les images aériennes.

Date	10 nov. 2023
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Marco Pedersoli (Directeur(-trice)) & Éric Granger (Codirecteur(-trice))