Modèle basé sur le Transformer pour une détection robuste du visage des nourrissons et des enfants hospitalisés en utilisant des images RVB et thermiques

Résumé

La localisation faciale dans les vidéos des patients en Unité de Soins Intensifs Pédiatriques (USIP) est une étape essentielle dans plusieurs applications de surveillance non invasive des patients basée sur la vidéo. Ces applications vont de l’évaluation de la douleur du patient a partir de l’expression faciale a l’estimation des rythmes cardiaque et respiratoire a partir des caractéristiques faciales. La précision de la localisation de visages des patients peut avoir un impact sur la qualité de lour surveillance. Dans le cadre général, les modèles de détection de visage bases sur les réseaux de neurones convolutifs, tels que RetinaFace, atteignent une grande précision. Cependant, leur précision diminue considérablement lorsqu’ils sont appliques en USIP ou en Unité de Soins Intensifs Néonatals (USIN). Cette baisse peut être attribuée a l’environnement clinique difficile, notamment le visage du patient occulte, les conditions d’éclairage variables et les postures extrêmes des patients. Pour remédier à cela, nous utilisons un modèle de détection base sur les Transformers, DEtection TRansformer (Detr), préentraîné sur l’ensemble des donnees WiderFace, pour détecter les visages en USIP. Nous avons également utilisé les images thermiques pour améliorer la précision de la détection faciale. Nos résultats montrent que le modèle Detr se généralise très bien aux données USIP par rapport à RetinaFace. De plus, nous avons mis au point une approche novatrice intégrant des images RVB et thermiques légèrement alignées, ce qui a considérablement amélioré la précision de détection pour les modèles Detr et RetinaFace. En exploitant conjointement les images thermiques et RVB, un modèle Detr préentraîné a surpassé RetinaFace de 15,3 %, atteignant une précision moyenne de 71,6 %. Enfin, nous présentons les résultats de l’ajustement fin des deux modèles sur un ensemble de 282 images de divers patients, de différents âges et postures en USIP. Le modèle Detr base sur le Transformer démontre une meilleure capacite de généralisation que le modèle RetinaFace base sur les CNN pour la détection des visages en USIP.

Date	2 mai 2024
langue originale	Français
Établissement diplômant	École de technologie supérieure
Superviseur	Rita Noumeir (Directeur(-trice)) & Philippe Jovet (Codirecteur(-trice))