NVIDIA führte ein neuronales Netzwerk zum Generieren von Videos nach Beschreibung ein

NVIDIA-Unternehmen angekündigt ein neues VideoLDM-KI-Modell, das kurze Videos basierend auf Text erstellt. Es wurde in Zusammenarbeit mit Forschern der Cornell University entwickelt.

VideoLDM berücksichtigt bis zu 4,1 Milliarden Parameter, von denen 2,7 Milliarden auf Video trainiert werden. Generierte Clips können bis zu 2048×1280 Pixel bei 24 Frames groß sein und eine Dauer von bis zu 4,7 Sekunden haben.

Das neuronale Netzwerk ist in der Lage, sowohl einfache Szenen mit ein paar Wörtern in der Anfrage als auch etwas Komplexeres zu erstellen. Ein paar Beispiele:

• Feuerwerk.

• Ein Sturmtruppler saugt den Strand.

• Ein Reisender geht bei Sonnenuntergang allein in einem nebligen Wald spazieren.

Weitere Beispiele sind angeschaltet Projekt-Website.

Dieses neuronale NVIDIA-Netzwerk ist noch nicht gemeinfrei. Es wurde als Forschungspapier im Rahmen der Conference on Machine Vision and Pattern Recognition vorgestellt.

Die Entwickler stellten beeindruckende und schnelle Fortschritte beim Lernen fest, sprachen jedoch nicht über die mögliche Zukunft des neuronalen Netzes. Trotzdem können wir davon ausgehen, dass wir bald ein vollwertiges Video-Analog bekommen werden