Reconnaissance des changements comportementaux des utilisateurs de réalité virtuelle à l'aide de capteurs de mouvements et de capteurs physiologiques

Résumé

Les applications de réalité virtuelle offrent une grande variété d'expériences, suscitant une gamme de réponses émotionnelles. Certains changements dans les émotions de l'utilisateur pourraient être détectables en analysant simplement les mouvements de la tête et des mains, en utilisant les informations déjà disponibles avec les systèmes de réalité virtuelle standards. Une telle détection pourrait éventuellement permettre d'adapter et de personnaliser les experiences des utilisateurs. Cependant, il y a peu de travaux traitant de la détection d’états émotionnels en utilisant un système de réalité virtuelle ni de travaux détaillant la quantité d’information qu’il est possible d’extraire à partir des mouvements de la tête et des mains comparativement à d’autres systèmes de détection. Ce projet combine une plateforme de réalité virtuelle immersive avec des capteurs physiologiques mesurant l’activité cardiaque et l’activité électrodermale et étudie la possibilité d’utiliser les données de mouvements (tête, mains, bassin, pieds) avec et sans les données physiologiques, afin de classer différents comportements avec des algorithmes d’apprentissage machine. Deux expériences ont été réalisées dans ce projet. Dans la première, les participants ont réalisé 4 séances de réalité virtuelle associées à quatre conditions : (1) une condition de base avec une tâche d’observation où il est demandé de compter des éléments dans un environnement virtuel calme, (2) un jeu impliquant une activité motrice afin de déplacer des objets dans un environnement virtuel calme, (3) le même jeu, mais avec une limite de temps et différents stresseurs pour induire un comportement rapide et stressé, (4) le même jeu, mais après que les participants se soient familiarisés avec la tâche, toujours avec une limite de temps, mais sans stresseurs, pour induire un comportement rapide, mais confortable. Dans la deuxième expérience, les utilisateurs ont réalisé 4 autres séances de réalité virtuelle nécessitant de frapper des cibles mobiles. Une des quatre séances (dans un ordre balancé) correspond à une condition stressante (S), alors que les autres séances correspondent à une situation calme (C). Pour chaque expérience, dix algorithmes d’apprentissage machines ont été entrainés sur les données collectées et ont classes les différents comportements. Les résultats démontrent que seulement quelques secondes de données capturées sont suffisantes pour distinguer les conditions, avec plus de 74% de précision en utilisant l’ensemble des données des capteurs, et plus de 60% de précision en utilisant seulement les données provenant du mouvement du corps. Ce projet de recherché mesure ainsi l’importance des différentes caractéristiques de mouvements d’un utilisateur et quantifie la performance d’algorithmes d’apprentissage machine afin de reconnaître certains comportements lors d’une expérience de réalité virtuelle.

Date	15 oct. 2018
langue originale	Français
Établissement diplômant	École de technologie supérieure
Superviseur	Michael John McGuffin (Directeur(-trice))