Luma Dream Machine est un modèle vidéo de nouvelle génération permettant de créer des vidéos de haute qualité avec des invites textuelles

Les laboratoires Luma aujourd'hui a annoncé Dream Machine, un modèle Gen AI capable de générer des vidéos réalistes et de haute qualité basées sur des invites textuelles et des images. Le modèle vidéo Dream Machine a été construit sur une architecture de transformateur multimodal et a été formé directement sur des vidéos. Luma Labs a mentionné que Dream Machine peut générer des scènes physiquement précises, cohérentes et pleines d'action. Le meilleur, c'est que tout le monde peut essayer le modèle gratuitement. ici.

Dream Machine est un générateur vidéo incroyablement rapide. Il peut générer 120 images en 120 secondes, permettant une itération plus rapide. Dream Machine peut générer des plans de 5 secondes avec un mouvement, une cinématographie et un drame réalistes et fluides. De plus, étant donné que Dream Machine comprend comment les personnes, les animaux et les objets interagissent avec le monde physique, vous pouvez créer des vidéos avec une grande cohérence des personnages et une physique précise.

Luma Labs a mentionné que Dream Machine est l'un de leurs modèles génératifs frontières. Contrairement aux nombreux modèles d'animation d'images existants, Dream Machine est un véritable modèle de génération vidéo. Pour former ce modèle, Luma Labs a utilisé Amazon Web Services et son infrastructure de formation NVIDIA H100 SageMaker HyperPod.