Reconnaissance automatique des émotions spontanées à partir du signal de parole

Résumé

La reconnaissance automatique des émotions (RAE) à partir de la parole est une tâche difficile particulièrement lorsqu'il s’agit de classer des expressions spontanées issues du monde réel. Les émotions spontanées sont souvent subtiles, parfois mixtes, de courtes durées, caractérisées par une grande variabilité intraclasse en plus d’avoir une distribution de classes sévèrement biaisée. C’est dans ce contexte que s’inscrit notre objectif de proposer une méthodologie capable d'améliorer les performances des systèmes de RAE actuels. La méthodologie proposée est motivée par les connaissances a priori sur les modèles théoriques des émotions en psychologie. L’idée est d’intégrer les concepts du modèle d’émotion dimensionnel dans la conception de classificateurs d’émotions discrètes. Deux concepts ont été dégagés du modèle dimensionnel : l’existence d’un espace dimensionnel dans lequel les émotions catégoriques peuvent être projetées et l’existence d’une relation de proximité entre ces catégories d’émotion relativement à chacune de ces dimensions. Le premier concept s’est traduit par l’extraction de traits de haut niveau destinés à jouer un rôle similaire à celui incarné par les dimensions du modèle théorique. Le second a motivé l’adoption d’une approche basée sur la similarité pour la représentation et la classification des émotions. Nous avons montré que les scores de vraisemblances générés par les modèles GMM constituent de puissants traits de similarité pour la RAE et répond bien à la contrainte relative à la taille limitée des énoncés. Nous avons proposé une première méthode de classification, intitulée le plus proche patron de similarité pondéré. Cette méthode est bâtie autour d’un nouveau vecteur caractérisant un énoncé à travers la description de son patron de classes voisines. Les classes au sein d’un patron sont ordonnées selon leurs degrés de proximité estimés sur la base des scores de vraisemblance. Contrairement à la règle de décision Bayes, les rangs de tous les scores influencent la décision de classification. Deux types de modèles ont été proposés et expérimentés : linéaire et non linéaire. Nous avons proposé également les modèles d'ancrage comme méthode de classification des émotions mais aussi comme outils d’aide à l’analyse du contenu émotionnel utile en psychologie. Les énoncés sont projetés dans un espace continu où chaque dimension est engendrée par un modèle de classe d’émotion qui mesure le degré de similarité d’un énoncé avec cette classe. Nous avons montré qu’il était possible d’appliquer avec succès les modèles d’ancrage aussi bien dans un contexte d’un problème multi-classe que celui d’une classification binaire- à travers une extension de l’espace d’ancrage avec de nouveaux modèles externes. Nous avons analysé et comparé les performances des modèles d’ancrage basés sur la distance euclidienne et cosinus en se basant sur les propriétés géométriques de leurs frontières de décision. Par ailleurs, nous avons montré que les modèles d’ancrage peuvent servir aussi comme méthode puissante de combinaison de classificateurs moyennant une normalisation des scores plus adaptée au contexte de fusion. Leurs bonnes performances et leurs propriétés intéressantes (ex., insensibilité à la distribution biaisée des classes) font des modèles d’ancrage des solutions très adéquates au problème de RAE comparés à d’autres systèmes plus complexes. Enfin, sur le plan des descripteurs acoustiques, de nouveaux traits plus discriminatifs ont été proposés. La combinaison de ces traits au moyen des modèles d’ancrage a permis de dépasser les résultats de l’état de l’art quand testés sur FAU AIBO Emotion, un corpus d’émotions spontanées commun à la communauté de recherche en RAE.

Date	30 nov. 2015
langue originale	Français
Établissement diplômant	École de technologie supérieure
Superviseur	Pierre Dumouchel (Directeur(-trice))