Google VLOGGER AI dá vida às fotos com avatares falantes realistas

Os pesquisadores do Google desenvolveram um novo sistema de IA chamado VLOGGER que pode gerar vídeos realistas de pessoas falando, gesticulando e se movendo a partir de apenas uma única foto.

Essa tecnologia, descrita em um artigo de pesquisa intitulado “VLOGGER: Difusão Multimodal para Síntese de Avatar Incorporado”, aproveita modelos de difusão, um tipo de aprendizado de máquina que se destaca na criação de imagens a partir de descrições de texto. Ao aplicar essa tecnologia ao vídeo e treiná-lo em um enorme conjunto de dados, o VLOGGER pode animar fotos de uma forma altamente convincente.

Ao contrário do trabalho anterior, nosso método não requer treinamento para cada pessoa, não depende de detecção e corte de rosto, gera a imagem completa (não apenas o rosto ou os lábios) e considera um amplo espectro de cenários (por exemplo, tronco visível ou diversas identidades de sujeitos) que são essenciais para sintetizar corretamente os humanos que se comunicam.

Os autores escreveram.

Os recursos do VLOGGER incluem dublagem automática de vídeos em diferentes idiomas, edição de vídeos e até criação de vídeos completos a partir de uma única imagem.

Os pesquisadores afirmam que o VLOGGER supera outros métodos em qualidade de imagem e realismo. À medida que esta tecnologia avança, a linha entre vídeos reais e artificiais pode ficar confusa. VLOGGER oferece um vislumbre do futuro da IA.

No entanto, existem preocupações quanto ao potencial uso indevido. À medida que o VLOGGER refina suas habilidades, também aumenta a facilidade de criação de deepfakes – vídeos que substituem a imagem de uma pessoa pela de outra, como o que aconteceu com Taylor Swift.

Você pode ver os exemplos aqui.