Hinweis: Der folgende Artikel hilft Ihnen dabei: In diesem KI-Artikel wird ein auf 3D-Diffusion basierender Ansatz für gelegentliche NeRF-Aufnahmen vorgestellt, der Artefakte verbessert und die Szenengeometrie mithilfe lokaler 3D-Prioritäten und eines … verbessert.
Beiläufig erfasste Neural Radiance Fields (NeRFs) sind häufig von geringerer Qualität als die meisten in NeRF-Artikeln dargestellten Fänge. Das letztendliche Ziel eines typischen Benutzers (z. B. eines Bastlers), der ein NeRFs aufnimmt, besteht häufig darin, eine Durchflugroute aus ganz anderen Ansichten als den ersten aufgenommenen Fotos zu erstellen. Diese erhebliche Verschiebung des Blickwinkels zwischen der Trainings- und der Rendering-Ansicht führt häufig zu falschen Geometrie- und Floater-Artefakten, wie in Abb. 1a zu sehen ist. In Programmen wie Polycam1 und Luma2 ist es üblich, Benutzer anzuweisen, drei Kreise in drei verschiedenen Höhen zu zeichnen, während sie nach innen auf das Objekt blicken, das sie interessiert. Diese Technik behebt diese Artefakte, indem sie Benutzer anweist oder ermutigt, ein Bild häufiger aufzunehmen.
Diese Erfassungsverfahren können jedoch zeitaufwändig sein und Benutzer müssen möglicherweise komplizierteren Erfassungsanweisungen mehr Aufmerksamkeit schenken, um eine artefaktfreie Erfassung zu erstellen. Das Erstellen von Techniken, die verbesserte Out-of-Distribution-NeRF-Renderings ermöglichen, ist eine weitere Methode zum Entfernen von NeRF-Artefakten. Die Optimierung von Kamerapositionen zur Bewältigung verrauschter Kamerapositionen, Einbettungen pro Bilddarstellung zur Bewältigung von Belichtungsschwankungen oder elastische Verlustfunktionen zur Bewältigung vorübergehender Okkluder wurden in früheren Untersuchungen als mögliche Methoden zur Minimierung von Artefakten untersucht. Obwohl diese und andere Methoden herkömmliche Benchmarks übertreffen, basieren die meisten Standards auf der Messung der Bildqualität bei zurückgehaltenen Bildern aus der Trainingssequenz, was häufig keinen Rückschluss auf die visuelle Qualität neuer Ansichten gibt.
Abbildung 1c zeigt, wie sich der Nerfacto-Ansatz verschlechtert, wenn die neuartige Ansicht vergrößert wird. In dieser Studie schlagen Forscher von Google Research und UCB sowohl (1) eine einzigartige Technik zur Wiederherstellung versehentlich erworbener NeRFs als auch (2) einen neuen Ansatz zur Beurteilung der Qualität eines NeRFs vor, der die gerenderte Bildqualität aus ungewöhnlichen Blickwinkeln genauer wiedergibt. Im Rahmen des vorgeschlagenen Bewertungsprotokolls werden zwei Filme aufgezeichnet: einer für das Training eines NeRF und der andere für die Evaluierung neuartiger Ansichten (Abb. 1b). Sie können eine Reihe von Metriken für sichtbare Bereiche berechnen, in denen sie davon ausgehen, dass die Szene in der Trainingssequenz ordnungsgemäß aufgezeichnet wurde, indem sie die Bilder aus der zweiten Aufnahme als Grundwahrheit verwenden (sowie Tiefe und Normalen, die aus einer Rekonstruktion aller Bilder abgerufen wurden). .
Sie zeichnen einen neuen Datensatz mit 12 Szenen mit jeweils zwei Kamerasequenzen für das Training und die Bewertung auf und halten dabei diesen Bewertungsprozess ein. Sie schlagen außerdem Nerfbusters vor, eine Technik, die darauf abzielt, die Oberflächenkohärenz zu verbessern, Floater zu eliminieren und verschwommene Artefakte in routinemäßigen NeRF-Aufnahmen zu beseitigen. Ihr Ansatz nutzt ein Diffusionsnetzwerk, das auf synthetischen 3D-Daten trainiert wird, um einen lokalen 3D-Geometrie-Prior zu erfassen, und nutzt diesen, bevor er realistische Geometrie während der NeRF-Optimierung unterstützt. Lokale Geometrie ist weniger kompliziert, kategorieunabhängiger und reproduzierbar als globale 3D-Prioritäten, wodurch sie für Zufallsszenen und kleinere Netzwerke geeignet ist (ein 28-MB-U-Net simuliert effektiv die Verteilung aller möglichen Oberflächenpatches).
Angesichts dieses datengesteuerten, lokalen 3D-Vorgangs verwenden sie einen neuartigen bedingungslosen DSDS-Verlust (Density Score Distillation Sampling), um den NeRF zu regulieren. Sie stellen fest, dass diese Technik Floater entfernt und die Szenengeometrie schärfer macht. Nach ihrem Wissen sind sie die ersten, die zeigen konnten, dass ein erlernter lokaler 3D-Prior NeRFs verbessern kann. Empirisch zeigen sie, dass Nerfbusters im Vergleich zu anderen Geometrie-Regularisierern eine hochmoderne Leistung für gelegentliche Aufnahmen erzielt. Sie implementieren ihr Evaluierungsverfahren und die Nerfbusters-Methode im Open-Source-Repository Nerfstudio. Der Code und die Daten sind auf GitHub zu finden.
