Het nieuwe AI-model van Stability AI kan 2D-beelden omzetten in 3D-video's

Stability AI heeft een op Stable Video Diffusion gebaseerd generatief AI-model uitgebracht, genaamd Stable Video 3D (SV3D), om het maken van 3D-video's te vereenvoudigen. De SV3D heeft twee componenten waarmee gebruikers 3D-video's uit 2D-beelden kunnen genereren: SV3D-u en SV3D-p.

“Vandaag brengen we Stable Video 3D (SV3D) uit, een generatief model gebaseerd op Stable Video Diffusion, waarmee we het veld van de 3D-technologie vooruit helpen en een sterk verbeterde kwaliteit en weergaveconsistentie leveren”, aldus het bedrijf in een persbericht. blogpost.

Zoals benadrukt door Stability AI, genereert SV3D-u orbitale video's met statische beelden als invoer, waarbij het gezichtspunt ongewijzigd blijft. Aan de andere kant helpt SV3D-p gebruikers bij het genereren van 3D-video's met camerabewegingen. En het kan dit doen met behulp van zowel afzonderlijke afbeeldingen als orbitale weergaven. Het bedrijf is echter niet nieuw op het gebied van het genereren van 3D-objecten. Het introduceerde Stable Zero 123 afgelopen december voor dat specifieke doel, maar de nieuwste SV3D is krachtiger en kan beter presteren dan andere open-source alternatieven zoals Zero123-XL.

“Door ons Stable Video Diffusion beeld-naar-video diffusiemodel aan te passen met de toevoeging van camerapadconditionering, kan Stable Video 3D multi-view video’s van een object genereren. Het gebruik van videodiffusiemodellen biedt, in tegenstelling tot beelddiffusiemodellen zoals gebruikt in Stable Zero123, grote voordelen op het gebied van generalisatie en beeldconsistentie van de gegenereerde output”, legt het bedrijf uit.

Stability AI's Stable Video 3D is beschikbaar voor commercieel gebruik voor degenen die een Stability AI-lidmaatschap hebben, dat begint bij $ 20 per maand. Voor niet-commercieel gebruik kunnen de modelgewichten worden gedownload op Hugging Face.