Face modeling and editing with deep neural networks

Résumé

Nous proposons une approche basée sur les réseaux génératifs profonds pour l’édition interactive de visages 3D. La plupart des méthodes actuelles pour l’édition de visages se basent sur des méthodes linéaires et ne peuvent pas exprimer de déformations complexes et non linéaires. Par opposition aux modèles 3D déformables basés sur l’analyse en composantes principales (ACP), nous proposons une nouvelle architecture basée sur les autoencodeurs variationnels. Notre architecture a plusieurs encodeurs (un par partie du visage, comme le nez et la bouche) qui sont reliés à un seul décodeur. En conséquence, chaque sous-vecteur du vecteur latent représente une partie du visage. Nous entraînons notre modèle avec une nouvelle fonction de coût, qui désintrique l’espace latent selon les différentes parties du visage. La sortie du réseau est un nouveau visage. Ainsi, contrairement aux méthodes par partie basées sur l’ACP, notre modèle apprend intrinsèquement à regrouper les parties et ne requiert pas de processus additionnel pour joindre les parties du visage. Pour permettre l’édition interactive du visage, nous optimisons les variables latentes selon des contraintes positionnelles sur des sommets, qui sont fournies par l’utilisateur. Pour éviter les changements globaux ailleurs sur le visage, nous optimisons seulement le sous-ensemble du vecteur latent qui correspond à la partie du visage qui est modifiée. Notre optimisation d’édition converge en moins d’une seconde. Nos résultats montrent que l’approche proposée supporte un large éventail de contraintes d’édition et génère des visages 3D plus réalistes. Finalement, nous explorons l’idée d’ajouter des textures aux visages générés puisque ceci complémente notre modèle génératif et le rend plus versatile.

Date	9 août 2023
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Eric Paquette (Directeur(-trice))