Deep visual-infrared fusion for multimodal person re-identification in the wild

Résumé

La ré-identification (ReID) de personnes est une tâche cruciale de vidéo-surveillance permettant de faire correspondre des images d’individus entre elles, ces images provenant de caméras observant des scènes distinctes. Cette tâche pose d’importants défis en raison de facteurs tels que les différentes positions des caméras, les conditions de capture (l’éclairage, les conditions météorologiques, l’arrière plan), les formes corporelles complexes et les différents styles vestimentaires. Ces facteurs entraînent un large éventail de conditions de capture potentielles, conduisant à des bases de données ne couvrant qu’une fraction des scénarios éventuels. Par extension, cela conduit à des données d’apprentissage et d’évaluation de modèles ne convenant pas à la conception d’un système robuste. Sous ces contraintes, un modèle doit être construit pour capturer les caractéristiques personnelles complexes et discriminantes tout en permettant d’effectuer un traitement des données en temps réel. Parmi les aspects précédents, la modalité visible, couramment utilisée dans les approches traditionnelles, dépend fortement de la luminosité ambiante. Les conditions de faibles luminosités peuvent avoir un impact important sur la qualité des scènes capturées, ce qui se traduit par une ReID imprécise. Cet aspect s’ajoute à la présence potentielle de captures bruitées ou floues, introduisant un obstacle supplémentaire dans la tâche de ré-identification de personnes. Les caméras infrarouges règlent les problèmes liés aux conditions d’éclairage en ne dépendant pas de celles-ci pour encoder la scène, mais ne capturent pas l’information de couleurs et sont affectées de la même manière par différentes corruptions lors de l’encodage. Par conséquent, les capteurs visibles et infrarouges apparaissent comme polyvalents et pertinents dans le contexte de la ReID, mais le fait de s’appuyer uniquement sur l’une de ces modalités compromet l’efficacité de l’approche en extérieur ou sous des conditions de capture complexes. Dans ce mémoire, la fusion des modalités visible et infrarouge (V-I) est proposée pour relever ces défis. En encodant la scène de manière indépendante et en capturant des vidéos des mêmes individus, les caméras V-I permettent des captures corrélées tout en limitant l’effet des eventuels problèmes d’encodage. Le chapitre 1 fournit des informations générales sur les modèles d’apprentissage profonds et les techniques pour l’identification des personnes. Ensuite, une étude des techniques de fusion et des techniques relatives à l’évaluation de modèles sous des conditions réalistes est proposée chapitre 2, permettant de soulever les challenges clés du domaine. À ce titre, multiples aspects doivent être pris en compte. Tout d’abord, les modèles de fusion multimodale sont présentés comme négligeant les caractéristiques propre à chaque modalité, se concentrant principalement sur celles partagées entre elles et manquant alors une partie importante de l’information discriminante. De plus, de récentes approchent soulignent la nécessité d’approfondir les protocoles d’évaluation en corrompant artificiellement les ensembles de données tout en mettant en œuvre des stratégies d’apprentissage spécifiques à cet égard. Toutefois, bien que ces approches aient été explorées et se soient révélées efficaces dans le cadre unimodal, cela reste à explorer pour les algorithmes de fusion, également affectés par l’imprévisibilité du monde réel. Ce travail présente une nouvelle architecture de modèle multimodal dans le Chapitre 3 afin d’exploiter pleinement les modalités quelles que soient les conditions de captures. Le modèle est composé de trois réseaux de neurones convolutifs, deux se concentrant sur l’extraction de caractéristiques spécifiques à chaque modalité, tandis que le troisième exploite les caractéristiques partagées via une représentation fusionnée. De plus, des approches basées sur le principe d’attention sont étudiées pour permettre une sélection dynamique des caractéristiques, prometteur dans la fusion de données multimodales sous des conditions opérationnelles difficiles. Ces conditions difficiles sont par ailleurs reproduites grâce aux ensembles de données corrompues V-I proposés, reproduisant des conditions réalistes adaptées aux scénarios de caméras co-localisées ou non, et permettant une évaluation approfondie des modèles. Pour les caméras co-localisées, d’éventuelles corrélations de corruptions sont prises en compte, ce qui n’est pas attendu et n’est donc pas appliqué pour les caméras non co-localisées, chaque caméra V et I se trouvant à des positions distinctes. Enfin, nous proposons une approche d’augmentation de données multimodales qui renforce la capacité de généralisation du modèle multimodal en favorisant la collaboration entre les modalités et en préparant le modèle à faire face à des corruptions locales ou globales spécifiques à chaque modalité. L’utilisation de trois bases de données et de deux scénarios d’évaluations avec des données corrompues comptabilisant vingt différentes corruptions visibles et infrarouges nous permettent de montrer que la configuration multimodale V-I de ReID est une excellente stratégie pour améliorer la précision de la ReID tout en conservant une complexité compétitive. En particulier, avec un apprentissage approprié, le modèle multimodal proposé peut surpasser les systèmes à l’état de l’art sous des conditions idéales tout comme bruitées et difficiles.

Date	16 août 2023
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Éric Granger (Directeur(-trice)) & Rafael Menelau Oliveira Cruz (Codirecteur(-trice))