CHAMP : nouvelle méthode pour animer une image
Découvrez Champ, une nouvelle méthode pour animer une image à partir d’une source vidéo en tirant parti d'un modèle paramétrique humain 3D dans un cadre de diffusion latente.
ANIMATION
6/17/20241 min read
Qu'est-ce que CHAMP ?
"Controllable and Consistent Human Image Animation with 3D Parametric", est une méthode qui combine des techniques avancées de modélisation 3D et de traitement de l'image pour créer des animations réalistes à partir de sources vidéo. En s'appuyant sur le modèle SMPL (Skinned Multi-Person Linear model), Champ est capable de capturer avec précision la complexité de la géométrie et des mouvements humains.
Modèle SMPL
Le modèle SMPL est un modèle 3D réaliste du corps humain, appris à partir de milliers de scans corporels en 3D. Il permet de représenter fidèlement les formes et les mouvements humains, ce qui est essentiel pour créer des animations réalistes.
Précision des mouvements
L'un des principaux atouts de Champ est sa capacité à faire correspondre le mouvement dans une vidéo à une nouvelle forme du corps en 3D. Cela permet d'obtenir des animations extrêmement précises et réalistes, surpassant les méthodes traditionnelles d'animation.
Intégration de données supplémentaires
Pour accroître le réalisme de l'animation, Champ intègre des informations supplémentaires telles que :
Cartes de profondeur : pour ajouter des détails sur la distance et la profondeur dans l'image.
Cartes de normales : pour améliorer l'éclairage et les ombres.
Cartes sémantiques : pour comprendre et segmenter les différentes parties de l'image.
Guidages de mouvement basés sur le squelette : pour capturer les mouvements complexes du corps humain.
Auto-attention
Champ utilise un processus nommé "auto-attention" pour fusionner intelligemment ces données. L'auto-attention permet au modèle de se concentrer sur les parties les plus pertinentes de l'image et de la vidéo, améliorant ainsi la précision et la fluidité de l'animation.
Champ représente une avancée significative dans le domaine de l'animation d'images, offrant une précision et un réalisme inégalés grâce à l'intégration de multiples sources de données et à l'utilisation de modèles 3D avancés comme SMPL. Avec le développement d'une version ComfyUI, cette technologie devient plus accessible, ouvrant de nouvelles possibilités pour les créateurs et les développeurs dans le monde de l'animation et de la manipulation d'images.