Stability AIs nye AI-modell kan gjøre 2D-bilder til 3D-videoer

Stability AI har gitt ut en Stable Video Diffusion-basert generativ AI-modell kalt Stable Video 3D (SV3D) for å forenkle opprettelsen av 3D-videoer. SV3D har to komponenter som hjelper brukere med å generere 3D-videoer fra 2D-bilder: SV3D-u og SV3D-p.

"I dag slipper vi Stable Video 3D (SV3D), en generativ modell basert på Stable Video Diffusion, som fremmer feltet 3D-teknologi og leverer sterkt forbedret kvalitet og visningskonsistens," sa selskapet i en blogginnlegg.

Som fremhevet av Stability AI, genererer SV3D-u orbitale videoer med statiske bilder som input med utsiktspunktet uendret. På den annen side vil SV3D-p hjelpe brukere med å generere 3D-videoer med kamerabevegelse. Og den kan gjøre det ved å bruke både enkeltbilder og orbitalvisninger. Selskapet er imidlertid ikke nytt for generering av 3D-objekter. Den introduserte Stable Zero 123 i desember i fjor for det spesifikke formålet, men den nyeste SV3D er kraftigere og kan utkonkurrere andre åpen kildekode-alternativer som Zero123-XL.

"Ved å tilpasse vår stabile videospredning bilde-til-video-diffusjonsmodell med tillegg av kamerabanekondisjonering, er Stable Video 3D i stand til å generere multi-view-videoer av et objekt. Bruken av videodiffusjonsmodeller, i motsetning til bildediffusjonsmodeller som brukes i Stable Zero123, gir store fordeler i generalisering og visningskonsistens av genererte utganger,» forklarte selskapet.

Stability AIs Stable Video 3D er tilgjengelig for kommersiell bruk for de som har Stability AI-medlemskap, som starter på $20 i måneden. For ikke-kommersiell bruk kan modellvektene lastes ned på Hugging Face.