Новая модель искусственного интеллекта Stability AI может превращать 2D-изображения в 3D-видео

Компания Stability AI выпустила генеративную модель искусственного интеллекта на основе Stable Video Diffusion под названием Stable Video 3D (SV3D), которая упрощает создание 3D-видео. В SV3D есть два компонента, которые помогают пользователям создавать 3D-видео из 2D-изображений: SV3D-u и SV3D-p.

«Сегодня мы выпускаем Stable Video 3D (SV3D), генеративную модель, основанную на Stable Video Diffusion, которая продвигает область 3D-технологий и обеспечивает значительно улучшенное качество и согласованность просмотра», — говорится в сообщении компании. блоге.

Как подчеркивает Stability AI, SV3D-u генерирует орбитальные видеоролики со статическими изображениями в качестве входных данных, при этом точка обзора остается неизменной. С другой стороны, SV3D-p поможет пользователям создавать 3D-видео с помощью движения камеры. И он может делать это, используя как отдельные изображения, так и изображения с орбиты. Однако компания не новичок в создании 3D-объектов. Для этой конкретной цели в декабре прошлого года компания представила Stable Zero 123, но последняя версия SV3D более мощная и может превзойти другие альтернативы с открытым исходным кодом, такие как Zero123-XL.

«Благодаря адаптации нашей модели распространения изображения к видео Stable Video Diffusion с добавлением кондиционирования траектории камеры Stable Video 3D может генерировать многопросмотровое видео объекта. Использование моделей распространения видео, в отличие от моделей распространения изображений, используемых в Stable Zero123, обеспечивает значительные преимущества в обобщении и согласованности представлений сгенерированных результатов», — пояснили в компании.

Stable Video 3D от Stability AI доступен для коммерческого использования тем, у кого есть членство Stability AI, стоимость которого начинается от 20 долларов в месяц. Для некоммерческого использования веса моделей можно загрузить на Hugging Face.