El nuevo modelo de IA de Stability AI puede convertir imágenes 2D en videos 3D

Stability AI ha lanzado un modelo de IA generativa basado en Stable Video Diffusion llamado Stable Video 3D (SV3D) para simplificar la creación de videos 3D. SV3D tiene dos componentes que ayudan a los usuarios a generar videos 3D a partir de imágenes 2D: SV3D-u y SV3D-p.

"Hoy lanzamos Stable Video 3D (SV3D), un modelo generativo basado en Stable Video Diffusion, que avanza en el campo de la tecnología 3D y ofrece una calidad y una coherencia de visualización muy mejoradas", dijo la compañía en un del blog.

Como lo destaca Stability AI, SV3D-u genera videos orbitales con imágenes estáticas como entrada y el punto de vista permanece sin cambios. Por otro lado, SV3D-p ayudará a los usuarios a generar vídeos 3D con el movimiento de la cámara. Y puede hacerlo utilizando tanto imágenes individuales como vistas orbitales. La empresa, sin embargo, no es nueva en la generación de objetos 3D. Presentó Stable Zero 123 en diciembre pasado para ese propósito específico, pero el último SV3D es más potente y puede superar a otras alternativas de código abierto como Zero123-XL.

“Al adaptar nuestro modelo de difusión de imagen a video de Stable Video Diffusion con la adición del acondicionamiento de la trayectoria de la cámara, Stable Video 3D puede generar videos de múltiples vistas de un objeto. El uso de modelos de difusión de vídeo, a diferencia de los modelos de difusión de imágenes utilizados en Stable Zero123, proporciona importantes beneficios en la generalización y coherencia de visualización de los resultados generados”, explicó la empresa.

Stable Video 3D de Stability AI está disponible para uso comercial para aquellos que tienen una membresía de Stability AI, que comienza en $20 al mes. Para uso no comercial, los pesos de los modelos se pueden descargar en Hugging Face.