Gesture-based exploration of 3D medical images in virtual reality

Résumé

La réalité virtuelle (RV) est une technologie qui permet une visualisation plus immersive et de nouvelles formes d’interaction que les postes informatiques classiques. Dans cette thèse, nous étudions comment la RV peut améliorer la visualisation de l’anatomie humaine en imagerie médicale. Le travail se concentre sur deux problèmes de visualisation anatomique, la perception de la profondeur et l’auto-occlusion, et examine comment la RV peut aider à dépasser les limites actuelles. La perception de la profondeur est étudiée lors de la visualisation de données angiographiques cérébrales représentant les vaisseaux sanguins du cerveau, ainsi que de volumes non segmentés. L’auto-occlusion apparaît lorsque l’on visualise des régions du corps densément organisées où les couches externes masquent les structures internes. Pour traiter ces deux problèmes, nous proposons des méthodes gestuelles interactives implémentées en RV. Pour la visualisation angiographique, plusieurs techniques de visualisation de la profondeur ont été développées afin d’améliorer la lisibilité des données. Notre premier objectif est de déterminer comment des techniques initialement conçues pour un écran 2D se transposent en RV et comment les indices de profondeur fournis par les casques affectent la performance des usagers. À l’aide d’une étude utilisateur, nous avons constaté que les techniques évaluées présentent peu de différences lorsqu’elles sont mesurées avec des métriques courantes, ce qui suggère que la RV fournit déjà des indices de profondeur puissants. Toutefois, des métriques spécifiques à l’étude montrent que les variantes plus interactives, où les mouvements de la main modifient la visualisation, produisent de meilleurs résultats que les variantes moins interactives. La visualisation d’ensembles de données présentant une auto-occlusion importante a été au centre de deux publications, dans lesquelles nous étudions la gestion interactive de l’occlusion en RV afin d’améliorer l’exploration des données. Dans la première, nous proposons Contextual Ambient Occlusion, une nouvelle implémentation d’occlusion ambiante volumétrique permettant un clipping en temps réel tout en recalculant l’occlusion à chaque image sans sacrifier la qualité visuelle. L’algorithme améliore la perception de la profondeur en exploitant des indices d’ombrage et clarifie la structure sous-jacente. Dans la seconde publication, nous introduisons AnatomyCarve, une technique interactive de découpage sensible aux segments qui facilite l’exploration de segments anatomiques préétiquetés. AnatomyCarve met en oeuvre le principe de la dissection par étapes, en retirant couche par couche les tissus externes pour révéler l’anatomie interne et produire des visualisations proches des illustrations de manuels d’anatomie. Cette technique a été jugée facile à utiliser et utile pour la planification préopératoire par des neurochirurgiens et des résidents. Nous montrons que la RV est une technologie prometteuse pour la visualisation médicale, où les indices de profondeur existants apportent déjà un soutien perceptif solide, mais où une interactivité accrue peut encore renforcer cette perception. Nos résultats indiquent en outre que le découpage interactif est un moyen efficace de visualiser des ensembles de données anatomiques auto-occlus en permettant une inspection claire de structures segmentées et non segmentées. Globalement, la thèse illustre comment la RV rapproche fidélité visuelle et interaction intuitive et ouvre la voie à une exploration plus efficace de données anatomiques immersives.

Date	27 févr. 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Simon Drouin (Directeur(-trice)) & Marta Kersten-Oertel (Codirecteur(-trice))