Reconstruction 4D de maillages d’acteurs par suivi pseudo-rigide

Résumé

Nous présentons dans cet article une méthode de reconstruction spatio-temporelle de maillages à partir de séquences de volumes. Les studios de tournages emploient de plus en plus de systèmes de capture pour modéliser des acteurs en 3D. Les technologies de reconstruction multi-vues utilisent un ensemble de caméras pour générer une séquence d’enveloppes visuelles via les silhouettes des prises de vues. Cependant, ces séquences manquent de cohérence temporelle car chaque pose est modélisée indépendamment des autres, ce qui rend difficile leur traitement par les outils de post-production habituels. Nous proposons une méthode de suivi automatique pour convertir une séquence de volumes reconstruits en un unique maillage animé. Un maillage de référence est déformé de manière globale par une transformation pseudo-rigide préservant les détails et guidée par un flot de mouvements estimé à partir de deux poses consécutives. Une étape d’optimisation locale permet d’ajuster la surface du modèle avec l’enveloppe visuelle afin d’obtenir une animation robuste de maillage 4D.