Sora von Open AI ist einfach zu gut, als dass es in Unreal 5 trainiert worden wäre

OpenAI eroberte danach die Welt im Sturm Sora starten, sein neuestes Text-zu-Video-Modell, das gleichzeitig erschreckend und umwerfend aussieht. Das Modell, das bald seinen Weg in ein OpenAI-Produkt finden wird, ist ein KI-Wunder, das jede Wortaufforderung in ein 60-Sekunden-Video mit einem noch nie dagewesenen Realismusniveau verwandeln könnte.

Aber wie funktioniert Sora genau? Das ist immer noch eine große, knifflige Frage, denn es geht nicht um die Frage: „Können wir es schaffen“, sondern um die Frage: „Sollten wir es tun?“ sagte OpenAI dass Sora beigebracht wird, ein Netzwerk zu nutzen, das Videos einfacher macht. Dieses Netzwerk nimmt normale Videos als Ausgangspunkt und verkleinert sie, sodass nur die wichtigsten Teile erhalten bleiben. Dann lernt Sora aus diesen vereinfachten Videos, neue zu erstellen. 

Darüber hinaus ist ein Teil des Netzwerks auch darin geschult, diese vereinfachten Videos wieder in vollformatige Videos umzuwandeln, die von den Menschen angesehen werden können. Sie können sogar ein vorhandenes Standbild aufnehmen und daraus ein Video erstellen.

Und es handelt sich um eine „datengesteuerte Physik-Engine“, die DALL-E nicht im Entferntesten ähnelt. Nehmen wir als Beispiel den Leiter der KI-Agenten bei NVIDIA, Jim Fan, der voraussagt, dass Sora möglicherweise sogar „anhand vieler synthetischer Daten trainiert wurde“. mit Unreal Engine 5” aufgrund seiner Komplexität. 

Sie kennen die Unreal Engine 5 vielleicht als eine „Game Engine“, auf der neuere Videospiele größtenteils basierten. Aber es ist nicht gerecht Spiele Darüber hinaus erschließt Unreal Engine 5 branchenübergreifend hochmoderne 3D-Inhalte und bietet Entwicklern beispiellose Freiheit und Detailtreue.

Und das ist überhaupt keine unbegründete Vorhersage. Er erklärt weiter, dass Sora ein „Simulations“-Programm ist, das komplexe Darstellung, natürliche Physik, langfristige Planung und die Verbindung von Konzepten mit Bedeutungen in der realen Welt lernt, und zwar durch Prozesse, die Rauschunterdrückung und mathematische Anpassungen auf der Grundlage von Farbverläufen beinhalten.

Das Modell ist zwar beeindruckend, hat aber auch Nachteile. OpenAI räumt ein, dass das Modell trotz seiner Fähigkeiten bestimmte Körperbewegungen, insbesondere Hände, nicht beherrscht. Darüber hinaus ist es nicht perfekt darin, die natürliche Physik komplizierter Szenen nachzubilden.

Was denken Sie über das neue Sora-Modell von OpenAI? Lass es uns in den Kommentaren wissen!