Sora от Open AI слишком хороша, чтобы ее можно было обучать на Unreal 5.
Насколько хороша новая модель OpenAI?
2 минута. читать
Опубликовано
Поделиться этой статьей
Улучшите это руководство
Прочтите нашу страницу раскрытия информации, чтобы узнать, как вы можете помочь MSPoweruser поддержать редакционную команду. Читать далее
Ключевые заметки
- Сора, новая модель преобразования текста в видео от OpenAI, представляет собой удивительное, но устрашающее чудо искусственного интеллекта.
- Вы можете превратить любую текстовую подсказку в 60-секундное видео на уровне реализма, как никогда раньше.
- Эксперт по искусственному интеллекту прогнозирует, что новая модель Sora от OpenAI могла быть обучена с использованием Unreal Engine 5, поскольку она очень сложна.
OpenAI покорил мир после запуск Соры, новейшая модель преобразования текста в видео, которая выглядит устрашающе, но в то же время умопомрачительно. Модель, которая вскоре появится в продукте OpenAI, представляет собой чудо искусственного интеллекта, которое может превратить любую текстовую подсказку в 60-секундное видео на уровне реализма, как никогда раньше.
Но как именно работает Сора? Это по-прежнему большой и сложный вопрос, потому что это не вопрос «сможем ли мы это сделать», а «должны ли мы это сделать». OpenAI сказал что Сору учат использовать сеть, которая упрощает видео. Эта сеть берет за отправную точку обычные видеоролики и уменьшает их размер, оставляя только самые важные части. Затем Сора учится на основе этих упрощенных видеороликов создавать новые.
Кроме того, часть сети также обучена превращать эти упрощенные видеоролики обратно в полноразмерные, которые люди смогут смотреть. Вы даже можете взять существующее неподвижное изображение и сделать из него видео.
И это «физический движок, управляемый данными», который даже отдаленно не похож на DALL-E. Возьмем, к примеру, главу отдела ИИ-агентов NVIDIA Джима Фана, который предсказывает, что Сора, возможно, даже «обучался на большом количестве синтетических данных». используя Unreal Engine 5» из-за своей сложности.
Возможно, вы знаете Unreal Engine 5 как «игровой движок», на котором в основном создавались последние видеоигры. Но это не просто игры больше, Unreal Engine 5 открывает доступ к новейшему 3D-контенту во всех отраслях, предоставляя создателям беспрецедентную свободу и детализацию.
И это вовсе не безосновательный прогноз. Далее он объясняет, что Sora — это программа «симуляции», которая изучает сложный рендеринг, естественную физику, долгосрочное планирование и связывает концепции с реальными значениями, и все это посредством процессов, включающих снижение шума и математические корректировки на основе градиентов.
Несмотря на впечатляющую модель, у нее есть и недостатки. OpenAI признает, что, несмотря на свои возможности, модель не освоила некоторые движения тела, особенно рук. Кроме того, он не идеально воспроизводит естественную физику сложных сцен.
Что вы думаете о новой модели Sora от OpenAI? Дайте нам знать об этом в комментариях!
