Stability AI の新しい AI モデルは 2D 画像を 3D ビデオに変換できます

Stability AI は、3D ビデオの作成を簡素化するために、Stable Video 3D (SV3D) と呼ばれる Stable Video Diffusion ベースの生成 AI モデルをリリースしました。 SV3D には、ユーザーが 3D 画像から 2D ビデオを生成するのに役立つ 3 つのコンポーネント、SV3D-u と SVXNUMXD-p があります。

「本日、当社は Stable Video Diffusion に基づく生成モデルである Stable Video 3D (SV3D) をリリースし、3D テクノロジーの分野を進歩させ、品質と表示の一貫性を大幅に向上させます」と同社は文書で述べています。 ブログ投稿.

Stability AI によって強調されているように、SV3D-u は視点を変更せずに静止画像を入力として軌道ビデオを生成します。一方、SV3D-p は、ユーザーがカメラモーションを含む 3D ビデオを生成するのに役立ちます。また、単一の画像と軌道ビューの両方を使用してこれを行うことができます。ただし、同社は 3D オブジェクトの生成に新しいわけではありません。その特定の目的のために昨年 123 月に Stable Zero 3 を導入しましたが、最新の SV123D はより強力であり、ZeroXNUMX-XL などの他のオープンソース代替製品よりも優れたパフォーマンスを発揮します。

「Stable Video Diffusion の画像からビデオへの拡散モデルを適応させ、カメラ パス コンディショニングを追加することで、Stable Video 3D はオブジェクトのマルチビュー ビデオを生成できます。 Stable Zero123 で使用されている画像拡散モデルとは対照的に、ビデオ拡散モデルの使用は、生成された出力の一般化とビューの一貫性において大きな利点をもたらします」と同社は説明しました。

Stability AI の Stable Video 3D は、月額 20 ドルからの Stability AI メンバーシップを持っている人が商用利用できます。非商業的な使用の場合、モデルの重みは Hugging Face からダウンロードできます。