Reconnaissance multi-dimensionnelle de l’émotion par apprentissage profond de caractéristiques spatio-temporelles sur séquences vidéo

Résumé

L’informatique affective et la reconnaissance d’émotions ont connu un intérêt croissant dans plusieurs domaines de recherche durant ces dernières décennies. En particulier, les expressions faciales représentent un des moyens les plus efficaces pour le relevé des éléments caractéristiques du comportement humain et décrire un état émotionnel. Néanmoins, même pour l’homme, identifier les expressions faciales est une tâche complexe, et les systèmes automatiques de reconnaissance d’expressions faciales (REF) basés sur l’image ont souvent souffert du manque de données pour l’entraînement de modèles d’apprentissage profond de caractéristiques. Avec la transition progressive des systèmes vers l’analyse de séquences vidéo, récoltées en conditions naturelles, et avec des modèles plus complexes de représentation de l’émotion tels que le modèle dimensionnel du circumplex (caractérisant l’émotion selon deux axes de valeurs : la valence et l’excitation), les systèmes REF sont capables d’apprendre des caractéristiques du visage plus précises et plus discriminantes. Par ailleurs, la plupart des modèles présentés actuellement, basés sur les réseaux de neurones à convolutions (CNNs) et combinés avec des réseaux de neurones récurrents (RNNs) ont été proposés pour reconnaître l’émotion mais souvent repose sur des modèles de représentation de l’affect en catégorie d’émotions. Et encore peu d’études font cas de modèle 3D-CNN pour la reconnaissance d’émotions basée sur des modèles de représentation multi-dimensionnels. De plus encore peu de modèles 3D-CNN pré-entraînés pour des tâches de reconnaissance d’expression faciales sont actuellement disponible. Ce qui au vue de la quantité de données disponibles rend complexe le développement de modèles 3D CNN. Dans ce mémoire, nous proposons de développer deux types d’approches faisant actuellement référence pour la représentation de caractéristiques spatio-temporelle du visage et la régression des valeurs de valence et excitation (arousal) de l’émotion. D’une part nous nous sommes intéressés à une architecture en cascade de type CNN-LSTM. D’autres part, une architecture 3D-CNN, pour laquelle nous appliquons le principe d’inflation des poids de modèles 2D-CNN proposé par Carreira & Zisserman (2017) afin d’opérer le transfert d’apprentissage si essentiel à notre application. Le transfert d’apprentissage nous permet en effet ,de manière préliminaire, de spécialiser nos modèles à des applications se rapprochant le plus possible de notre application finale, et ainsi obtenir une meilleure convergence lors de l’apprentissage. En premier lieu, notre étude fait une description des différentes étapes importantes pour la conception de modèles d’apprentissage automatiques (pré-traitement, transfert d’apprentissage, post-traitement). Nous détaillons ensuite les étapes de développement de chacune des architectures, et les variables inhérentes à leur conception. La conception de modèles i3D (inflated-3D CNN) se montre notamment très flexible quant à l’initialisation des paramètres des modèles et nous a permis de développer une nouvelle technique d’apprentissage. Grâce à l’inflation des poids, il est notamment possible de faire la distinction entre les poids initiaux 2D et les poids étendus, différenciant ainsi les poids associés au domaine spatial de ceux associés au domaine temporel. Enfin la dernière partie, détaille les résultats expérimentaux de nos différentes approches expérimentales validant plusieurs hypothèses de la littérature quant aux modèles à convolutions.

Date	10 sept. 2020
langue originale	Français
Établissement diplômant	École de technologie supérieure
Superviseur	Alessandro Lameiras Koerich (Directeur(-trice)) & Éric Granger (Codirecteur(-trice))