Google VLOGGER AI donne vie aux photos avec des avatars parlants réalistes

Des chercheurs de Google ont développé un nouveau système d'IA appelé VLOGGER qui peut générer des vidéos réalistes de personnes parlant, faisant des gestes et bougeant. à partir d'une seule photo.

Cette technologie, décrite dans un document de recherche intitulé « VLOGGER : Multimodal Diffusion for Embodied Avatar Synthesis », exploite les modèles de diffusion, un type d'apprentissage automatique qui excelle dans la création d'images à partir de descriptions textuelles. En appliquant cette technologie à la vidéo et en l'entraînant sur un ensemble de données massif, VLOGGER peut animer des photos d'une manière très convaincante.

Contrairement aux travaux précédents, notre méthode ne nécessite pas de formation pour chaque personne, ne repose pas sur la détection et le recadrage du visage, génère l'image complète (pas seulement le visage ou les lèvres) et considère un large éventail de scénarios (par exemple le torse visible ou diverses identités de sujets) qui sont essentiels pour synthétiser correctement les humains qui communiquent.

Les auteurs ont écrit.

Les capacités de VLOGGER incluent le doublage automatique de vidéos dans différentes langues, l'édition de vidéos et même la création de vidéos complètes à partir d'une seule image.

Les chercheurs affirment que VLOGGER surpasse les autres méthodes en termes de qualité d'image et de réalisme. À mesure que cette technologie progresse, la frontière entre les vidéos réelles et artificielles peut s’estomper. VLOGGER offre un aperçu de l'avenir de l'IA.

Cependant, des inquiétudes existent concernant une éventuelle utilisation abusive. À mesure que VLOGGER affine ses capacités, la facilité de création de deepfakes augmente également – ​​des vidéos qui remplacent l'image d'une personne par celle d'une autre, comme quoi. c'est arrivé avec Taylor Swift.

Vous pouvez voir les exemples ici.