3D human body mesh generation from 2D images using body silhouette, bone orientation, and joints triangulation

Résumé

Dans ce mémoire, nous abordons le problème de l’estimation de la pose et de la morphologie 3D d’une personne à partir d’images multi-vues. Comme d’autres méthodes adressant ce problème, nous utilisons le modèle corporel paramétrique nommé Skinned Multi-Person Linear model (SMPL). L’objectif est alors de trouver les paramètres du modèle SMPL qui correspondent le mieux à la morphologie et à la pose 3D de l’individu sur les images. Le principal défi réside dans l’estimation précise de ces paramètres. Pour y parvenir, nous estimons dans un premier temps la localisation 2D des articulations de l’individu sur l’image. Ensuite, au moyen d’une triangulation algébrique linéaire, nous estimons la localisation 3D de ces articulations à partir des localisations 2D estimées. Cela permet d’obtenir une estimation de la localisation 3D des articulations plus fiable. Par la suite, nous faisons correspondre les articulations 3D et la silhouette 2D du modèle 3D du corps avec celles estimées de l’individu. Pour ce faire, nous introduisons un nouveau processus d’optimisation en deux étapes avec une nouvelle fonction objectif. Cette dernière permet d’obtenir une meilleure initialisation pour l’optimisation finale et simultanée de la pose et la morphologie. Enfin, nous mettons en lumière que la position sémantique des articulations dans le modèle paramétrique et dans les bases de données d’évaluation n’est pas identique. Pour tenir compte de cette divergence, nous introduisons, pour chaque articulation, un vecteur de recalage calculé dans le repère local de l’articulation. Notre approche entièrement automatique est évaluée sur les bases de données Human3.6M et HumanEva, montrant des résultats supérieurs aux méthodes de l’état de l’art.

Date	21 avr. 2021
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Carlos Vázquez (Directeur(-trice)) & Éric Paquette (Codirecteur(-trice))