Annotation automatique des gestes dans des vidéos de personnes âgées durant des conversations spontanées

Résumé

L’étude des gestes de l’humain en général et les mouvements de la tête et des mains en particulier constitue une partie importante de la communication non verbale. C’est pour cette raison le nombre des études qui portent sur l’analyse des gestes ne cesse pas d’augmenter Parmi ces études on trouve celles qui concernent l’analyse des vidéos afin de reconnaître et interpréter des informations spécifiques dans une conversation à travers l'annotation des gestes. Annoter les mouvements de la tête et des mains peut être une tâche difficile dans le cas des personnes âgées, car les capacités motrices et sensorielles diminuent avec l'âge. Présentement, l’annotation des gestes dans les vidéos se fait d’une façon manuelle. Ceci présente plusieurs limites. Elle est fastidieuse et imprécise vue qu’elle est soumise à la variabilité des annotateurs. De même ce type d’annotation est couteux puisque il ne peut être réalisé que par des experts. De plus les conclusions tirées ne sont pas robustes étant donné que l’annotation manuelle est souvent appliquée à des petits échantillons. Dans ce travail de recherche, nous avons proposé deux approches automatiques pour annoter les mouvements des mains et les mouvements de la tête. Ces approches sont basées sur des techniques d’apprentissage profond à savoir, le CNN et le RNN. Nous avons recours à une vérité terrain réalisée par des experts afin de valider les approches proposées. Dans un premier temps, nous avons proposé une approche pour annoter les mouvements de la tête. La méthode développée est inspirée des standards développés par des experts dans le domaine linguistique. Le problème d’annotation a été modélisé comme un exercice de classification. Chaque geste simple, composé d’un seul mouvement, constitue une classe alors que les gestes complexes, composés de plus d’un mouvement, sont classés dans une seule classe. Pour ce faire, nous avons implémenté une méthode basée sur la technique de MTCNN, cette technique a été utilisée pour détecter le visage. Puis le LSTM est appliqué pour prédire la classe de chaque mouvement. Dans un second temps, nous avons proposé une approche pour automatiser les phases gestuelles des mains qui existent dans la littérature depuis les années quatre-vingt. Nous nous sommes basés sur des études antérieures utilisées dans la classification des phases gestuelles. La stratégie utilisée pour annoter automatiquement les phases gestuelles est similaire à celle proposée pour annoter les mouvements des mains. En effet, le problème d’annotation est considéré comme un problème de classification. Sur un plan technique, nous avons utilisé le MobileNet pour détecter les mains et le LSTM pour prédire la phase en question. Les approches proposées nous ont permis de réduire le coût des annotations manuelles, de minimiser le temps de travail et de fournir une annotation plus scientifique en diminuant l'impact de la subjectivité causée par l'imprécision générée par une analyse visuelle des gestes dans une vidéo. Les résultats proposent deux axes de recherche à explorer. Premièrement, le processus d’annotation automatique des comportements non verbaux dans les vidéos est possible. Deuxièmement, les algorithmes d’apprentissage profond peuvent identifier des caractéristiques qui ne correspondent pas totalement aux observations des experts. Cette particularité établit clairement un nouveau dialogue entre les chercheurs en intelligence artificielle, les chercheurs en linguistique et les chercheurs dans les domaines liés à la communication et au vieillissement, quant à l’interprétation des résultats et des caractéristiques à partir de vidéos

Date	29 sept. 2021
langue originale	Français
Établissement diplômant	École de technologie supérieure
Superviseur	Sylvie Ratté (Directeur(-trice)) & Luc Duong (Codirecteur(-trice))