Stabilitet AI's nye AI-model kan forvandle 2D-billeder til 3D-videoer

Stability AI har udgivet en stabil videodiffusionsbaseret generativ AI-model kaldet Stable Video 3D (SV3D) for at forenkle oprettelsen af ​​3D-videoer. SV3D har to komponenter, der hjælper brugere med at generere 3D-videoer fra 2D-billeder: SV3D-u og SV3D-p.

"I dag frigiver vi Stable Video 3D (SV3D), en generativ model baseret på Stable Video Diffusion, der fremmer feltet af 3D-teknologi og leverer stærkt forbedret kvalitet og visningskonsistens," sagde virksomheden i en blogindlæg.

Som fremhævet af Stability AI genererer SV3D-u orbitale videoer med statiske billeder som input, mens synspunktet forbliver uændret. På den anden side vil SV3D-p hjælpe brugere med at generere 3D-videoer med kamerabevægelse. Og det kan den gøre ved at bruge både enkeltbilleder og orbitale visninger. Virksomheden er dog ikke ny inden for 3D-objektgenerering. Det introducerede Stable Zero 123 i december sidste år til det specifikke formål, men den seneste SV3D er mere kraftfuld og kan udkonkurrere andre open source-alternativer som Zero123-XL.

"Ved at tilpasse vores stabile videodiffusion billed-til-video-diffusionsmodel med tilføjelsen af ​​kamerabanekonditionering er Stable Video 3D i stand til at generere multi-view-videoer af et objekt. Brugen af ​​videodiffusionsmodeller giver i modsætning til billeddiffusionsmodeller som brugt i Stable Zero123 store fordele i generalisering og visningskonsistens af genererede output,” forklarede virksomheden.

Stability AI's Stable Video 3D er tilgængelig til kommerciel brug for dem, der har Stability AI-medlemskab, som starter ved $20 om måneden. Til ikke-kommerciel brug kan modelvægtene downloades på Hugging Face.