Le nouveau modèle d'IA de Stability AI peut transformer des images 2D en vidéos 3D

Stability AI a publié un modèle d'IA générative basé sur la diffusion vidéo stable appelé Stable Video 3D (SV3D) pour simplifier la création de vidéos 3D. Le SV3D comporte deux composants qui aident les utilisateurs à générer des vidéos 3D à partir d'images 2D : SV3D-u et SV3D-p.

"Aujourd'hui, nous lançons Stable Video 3D (SV3D), un modèle génératif basé sur Stable Video Diffusion, qui fait progresser le domaine de la technologie 3D et offre une qualité et une cohérence d'affichage considérablement améliorées", a déclaré la société dans un communiqué. blog récents.

Comme le souligne Stability AI, SV3D-u génère des vidéos orbitales avec des images statiques en entrée, le point de vue restant inchangé. D'un autre côté, SV3D-p aidera les utilisateurs à générer des vidéos 3D avec mouvement de caméra. Et il peut le faire en utilisant à la fois des images uniques et des vues orbitales. L'entreprise n'est cependant pas nouvelle dans la génération d'objets 3D. Il a introduit Stable Zero 123 en décembre dernier dans ce but spécifique, mais le dernier SV3D est plus puissant et peut surpasser d'autres alternatives open source comme Zero123-XL.

« En adaptant notre modèle de diffusion image-vidéo Stable Video Diffusion avec l'ajout du conditionnement du chemin de la caméra, Stable Video 3D est capable de générer des vidéos multi-vues d'un objet. L'utilisation de modèles de diffusion vidéo, contrairement aux modèles de diffusion d'images utilisés dans Stable Zero123, offre des avantages majeurs en termes de généralisation et de cohérence de la vue des sorties générées », a expliqué la société.

Stable Video 3D de Stability AI est disponible pour un usage commercial pour ceux qui sont membres de Stability AI, qui commence à 20 $ par mois. Pour une utilisation non commerciale, les poids des modèles peuvent être téléchargés sur Hugging Face.