O novo modelo de IA do Stability AI pode transformar imagens 2D em vídeos 3D

Stability AI lançou um modelo de IA generativo baseado em difusão de vídeo estável chamado Stable Video 3D (SV3D) para simplificar a criação de vídeos 3D. O SV3D possui dois componentes que auxiliam os usuários a gerar vídeos 3D a partir de imagens 2D: SV3D-u e SV3D-p.

“Hoje estamos lançando Stable Video 3D (SV3D), um modelo generativo baseado em Stable Video Diffusion, avançando no campo da tecnologia 3D e oferecendo qualidade e consistência de visualização bastante melhoradas”, disse a empresa em um comunicado. no blog.

Conforme destacado pelo Stability AI, o SV3D-u gera vídeos orbitais com imagens estáticas como entrada, mantendo o ponto de vista inalterado. Por outro lado, o SV3D-p ajudará os usuários a gerar vídeos 3D com movimento de câmera. E isso pode ser feito usando imagens únicas e visualizações orbitais. A empresa, no entanto, não é novata na geração de objetos 3D. Ele introduziu o Stable Zero 123 em dezembro passado para esse propósito específico, mas o SV3D mais recente é mais poderoso e pode superar outras alternativas de código aberto como o Zero123-XL.

“Ao adaptar nosso modelo de difusão de imagem para vídeo do Stable Video Diffusion com a adição do condicionamento do caminho da câmera, o Stable Video 3D é capaz de gerar vídeos de visualização múltipla de um objeto. O uso de modelos de difusão de vídeo, em contraste com os modelos de difusão de imagem usados ​​no Stable Zero123, oferece grandes benefícios na generalização e consistência de visualização dos resultados gerados”, explicou a empresa.

O Stable Video 3D do Stability AI está disponível para uso comercial para aqueles que são membros do Stability AI, que começa em US$ 20 por mês. Para uso não comercial, os pesos do modelo podem ser baixados no Hugging Face.