Das neue KI-Modell von Stability AI kann 2D-Bilder in 3D-Videos umwandeln

Stability AI hat ein auf Stable Video Diffusion basierendes generatives KI-Modell namens Stable Video 3D (SV3D) veröffentlicht, um die Erstellung von 3D-Videos zu vereinfachen. Der SV3D verfügt über zwei Komponenten, die Benutzern helfen, 3D-Videos aus 2D-Bildern zu erstellen: SV3D-u und SV3D-p.

„Heute veröffentlichen wir Stable Video 3D (SV3D), ein generatives Modell, das auf Stable Video Diffusion basiert, das den Bereich der 3D-Technologie vorantreibt und eine deutlich verbesserte Qualität und Ansichtskonsistenz liefert“, sagte das Unternehmen in einem Blog-Post.

Wie von Stability AI hervorgehoben, generiert SV3D-u Orbitalvideos mit statischen Bildern als Eingabe, wobei der Blickwinkel unverändert bleibt. Andererseits wird SV3D-p Benutzern dabei helfen, 3D-Videos mit Kamerabewegungen zu erstellen. Und das sowohl mit Einzelbildern als auch mit Orbitalansichten. Das Unternehmen ist jedoch kein Neuling in der 3D-Objektgenerierung. Zu diesem Zweck wurde im vergangenen Dezember Stable Zero 123 eingeführt, aber das neueste SV3D ist leistungsfähiger und kann andere Open-Source-Alternativen wie Zero123-XL übertreffen.

„Durch die Anpassung unseres Stable Video Diffusion-Bild-zu-Video-Diffusionsmodells mit der Hinzufügung der Kamerapfadkonditionierung ist Stable Video 3D in der Lage, Multi-View-Videos eines Objekts zu generieren. Die Verwendung von Videodiffusionsmodellen bietet im Gegensatz zu Bilddiffusionsmodellen, wie sie in Stable Zero123 verwendet werden, große Vorteile bei der Generalisierung und Ansichtskonsistenz der generierten Ausgaben“, erklärte das Unternehmen.

Stability AIs Stable Video 3D ist für die kommerzielle Nutzung für diejenigen verfügbar, die eine Stability AI-Mitgliedschaft haben, die bei 20 US-Dollar pro Monat beginnt. Für die nichtkommerzielle Nutzung können die Modellgewichte auf Hugging Face heruntergeladen werden.