Automatic evaluation of Alzheimer’s disease, a multimodal analysis of spontaneous conversations

Résumé

Les patients atteints de la maladie d'Alzheimer (MA) présentent des difficultés de communication verbale et non verbale, ce qui a suscité un intérêt croissant pour le rôle que joue la communication non verbale dans la vie des personnes atteintes de démence (Rousseaux et al., 2010). On estime que 55 à 97 % du message communiqué lors d'une interaction entre adultes consiste en un comportement non verbal ((Gross, 1990), (Hargie et al., 1981)), qui comprend les mouvements du corps, les expressions faciales (FE), le toucher, l'apparence physique, l'espace personnel et les caractéristiques de la communication vocale telles que la hauteur, l'intonation et le débit de parole. En conséquence de ce qui précède, certaines études liées à la maladie d'Alzheimer (MA) ont étudié la communication verbale et non verbale, par exemple les mouvements oculaires, les expressions faciales, le débit de la parole, la communication vocale et l'analyse des sentiments pendant l'exécution de certaines tâches. Selon ces études, les expressions faciales et les caractéristiques acoustiques des patients atteints de la MA pourraient suggérer certaines caractéristiques dans les premiers stades de la MA qui peuvent être analysées automatiquement. Dans cette thèse, nous introduisons une méthode d'analyse automatique et d'évaluation de la corrélation entre le verbal et le non-verbal et la MA lors de conversations naturelles enregistrées sur vidéo. Notre objectif est de classer automatiquement les sujets atteints de la maladie d'Alzheimer ou les témoins sains (HC) par le biais des expressions faciales. Nous analysons 23 conversations, d'une durée moyenne de 16 minutes. Pour l'analyse faciale, nous avons suivi 3 groupes de caractéristiques : le regard et les repères oculaires, les repères faciaux et les unités d'action faciale (UAF). De plus, pour l'analyse verbale, nous avons obtenu deux groupes de caractéristiques: les silences et les caractéristiques phonétiques (13 caractéristiques de coefficients cepstraux de fréquence Mel (MFCC)). En général, nous avons utilisé quatre classificateurs pour distinguer la MA de l'HC: Random Forest Classifier (RFC), K Nearest Neighbor (KNN), Support Vector Machines (SVM) et Naïve Bayes (NB). En ce qui concerne l'analyse des silences et des caractéristiques phonétiques, la meilleure performance obtenue était une précision de 81 % et un taux de sensibilité-spécificité de 91 % sur la courbe ROC (Receiver Operating Characteristic). De même, l'analyse multimodale a montré une précision de 90% et une courbe ROC de 93%. Ces résultats ont été obtenus avec le classificateur KNN entraîné avec toutes les caractéristiques (verbales et non verbales). Notamment, le RFC a montré la meilleure performance dans toutes les expériences réalisées dans cette étude, en entraînant l'algorithme exclusivement avec les expressions faciales et les caractéristiques du regard, nous avons obtenu une précision de 93% et une courbe ROC de 98%. La précision de classification pour le classificateur KNN était de 91 %, la sensibilité-spécificité était de 97,7 %, entraîné avec les repères faciaux comme caractéristiques. Ces résultats présentent une meilleure performance lorsque le classificateur est entraîné avec les points de repère faciaux que lorsqu'il est entraîné avec toutes les caractéristiques. En conclusion, les expressions faciales et les caractéristiques phonétiques pendant la conversation pourraient fournir des signes de la MA à un stade précoce. Dans ce travail, nous avons présenté une méthodologie permettant de distinguer la MA de l'HC. L'objectif principal de cette méthode est d'utiliser un moyen non invasif d'analyse et de classification par l'enregistrement de conversations naturelles. Par conséquent, nous pouvons fournir aux cliniciens un outil non invasif et automatique pour la détection précoce des signes de la MA.

Date	14 mars 2022
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Sylvie Ratté (Directeur(-trice)) & Luc Duong (Codirecteur(-trice))