Fusion multimodale et services Web

Abstract

De nos jours, la technologie nous permet de produire des systèmes extensibles et entièrement contrôlés par l'humain. Ces systèmes sont équipés par des interfaces multimodales permettant une interaction plus naturelle et plus efficace entre la personne et la machine. Les utilisateurs peuvent profiter des modalités naturelles ( la parole, le geste, les yeux...etc.) pour communiquer ou échanger des informations avec les applications ou les systèmes. l'utilisation des applications multimodales avec les services web, integrée avec des modalités naturelles, est une solution efficace pour les utilisateurs, en particulier pour ceux qui ne peuvent pas utiliser un clavier ou une souris, les utilisateurs malvoyants, les utilisateurs qui sont équipés d'appareils mobiles, les utilisateurs qui sont infirmes...etc. Notre travail présente une approche dans laquelle les modaalités d'entrées variantes ( parole, écran tactil, clavier...etc.) sont mises à la disposition de l'utilisateur dans le but d'accéder aux services web. La technique utilisée dans l'état d'art présente une approche avec deux modalités prédéfinies. Notre approche permet l'utilisation d'un nombre infini de modalités (d'un point de vue conceptuel) en utilisant un niveau sémantique appelé "Multimodal Fusion". Une telle approche donne à l'utilisateur la possibilité d'utiliser les modalités qu'il juge appropriées à sa situation. La description détaillée de l'approche proposée, ainsi que l'application qui a été élaborée, sont présentées dans ce mémoire.

Date	25 Oct 2010
Original language	French
Awarding Institution	École de technologie supérieure
Supervisor	Chakib Tadj (Supervisor) & Amar Ramdane-Cherif (Co-supervisor)