Hinweis: Der folgende Artikel hilft Ihnen dabei: Fliegen einer Drohne in einer virtuellen Welt: Dieses KI-Modell kann dauerhafte und unbegrenzte 3D-Welten erzeugen
Haben Sie schon von MidJourney, Stable Diffusion oder DALL-E gehört? Das haben Sie wahrscheinlich getan, wenn Sie sich in letzter Zeit mit der KI-Domäne befasst haben. Diese KI-Modelle sind in der Lage, äußerst realistische Bilder zu erzeugen, die sich meist nur schwer von den von Menschen erstellten Bildern unterscheiden lassen. Es ist jetzt möglich, mit KI-generierten Bildern und Videos ein bemerkenswertes Maß an Realismus zu erreichen.
Es ist möglich, ein fotorealistisches Bild zu erzeugen; wir wissen es. Aber was wäre, wenn wir mehr tun wollten? Was wäre, wenn wir es tatsächlich wollten? Dies ist eine virtuelle Welt und es wäre eine erstaunliche Erfahrung gewesen, sie frei zu erkunden. Stellen Sie sich vor, Sie fliegen mit einer Drohne durch eine atemberaubende virtuelle Welt, in der Flüsse frei sprudeln, majestätische Berge über Ihnen ragen und Bäume sich anmutig im Wind wiegen. Die Erfahrung ist einfach außergewöhnlich, nicht wahr? Zeit zum Treffen Beständige Natur.
Beständige Natur ist ein bedingungsloses generatives Modell, das unbegrenzte 3D-Szenen mit einer dauerhaften zugrunde liegenden Weltdarstellung generieren kann.
Beständige Natur baut auf den Fortschritten in zwei Bereichen auf, die sich auf immersive Welten konzentrieren; 3D-Modelle und unendliche Videomodelle. 3D-Modelle stellen konstruktionsbedingt eine konsistente 3D-Welt dar und zeichnen sich durch die Darstellung isolierter Objekte aus, obwohl sie auf Innenszenen beschränkt sind. Beständige Natur beseitigt diese Einschränkung und geht das Problem der Generierung großräumiger, unbegrenzter Naturszenen an. Andererseits können bestehende Infinitiv-Videomodelle visuelle Welten von unendlichem Ausmaß simulieren, sie gewährleisten jedoch keine dauerhafte Weltdarstellung, die durch gelöst wird Beständige Natur.
Die Aufgabe besteht im Wesentlichen darin, eine virtuelle Kamera in einer virtuellen Welt zu bewegen, obwohl dies nicht einfach zu bewerkstelligen ist. Der Inhalt sollte generiert werden, während wir die Kamera bewegen, und wir müssen räumliche und zeitliche Konsistenz gewährleisten. Wenn es nicht erfüllt ist, kann die erzeugte Ausgabe wie ein Traum aussehen, in dem sich die Dinge ziemlich seltsam bewegen, und das ist nicht etwas, was wir wollen. Darüber hinaus sollte der generierte Inhalt derselbe bleiben, wenn wir uns beliebig weit bewegen und zum selben Ort zurückkehren, unabhängig von der Kameraflugbahn.
Um eine dauerhafte Naturgenerierung zu erreichen, modelliert der vorgeschlagene Ansatz die 3D-Welt als Gelände und Himmelskuppel. Das Gelände wird durch ein Szenenlayoutgitter dargestellt, das als Karte der Landschaft fungiert. Anschließend werden diese Merkmale in 3D übertragen und mit einem MLP in ein Strahlungsfeld für die Volumenwiedergabe dekodiert. Die gerenderten Geländebilder werden mittels Superauflösung hochskaliert und mit Renderings aus dem Skydome-Modell zusammengesetzt, um endgültige Bilder zu synthetisieren.
Ein weiterer entscheidender Aspekt der persistenten Generation ist die Erweiterung der Szene. Das Training des Modells anhand der gesamten Landschaft ist nicht möglich. Daher trainieren sie das Modell mithilfe eines Layoutrasters begrenzter Größe und erweitern die Szene während der Inferenz um einen beliebigen Betrag. Dies ermöglicht unbegrenzte Kameratrajektorien. Da die zugrunde liegende Darstellung darüber hinaus räumlich und zeitlich persistent ist, ist es möglich, in 3D-Landschaften zu fliegen, ohne Multiview-Daten zu benötigen. Beständige Natur kann vollständig aus Einzelansicht-Landschaftsfotos mit unbekannten Kamerapositionen trainiert werden.
Persistent Nature zielt darauf ab, das Beste aus beiden Welten zu vereinen und unbegrenzte Szenen zu erzeugen und gleichzeitig eine persistente 3D-Welt darzustellen. Es handelt sich um ein bedingungsloses generatives 3D-Modell für unbegrenzte Naturszenen mit einer dauerhaften Weltdarstellung.
