Der folgende Artikel hilft Ihnen dabei: Wie Nvidias DLSS 3 funktioniert (und warum AMD FSR vorerst nicht aufholen kann)
Die Grafikkarten der RTX 40-Serie von Nvidia kommen in wenigen Wochen auf den Markt, aber unter all den Hardware-Verbesserungen befindet sich das, was Nvidias goldenes Ei sein könnte: DLSS 3. Es ist viel mehr als nur ein Update von Nvidias beliebter DLSS-Funktion (Deep Learning Super Sampling). , und es könnte am Ende viel mehr als die Grafikkarten selbst die nächste Generation von Nvidia definieren.
AMD hat hart daran gearbeitet, seine FidelityFX Super Resolution (FSR) mit DLSS gleichzusetzen, und das war in den letzten Monaten erfolgreich. DLSS 3 scheint diese Dynamik zu ändern – und dieses Mal kann FSR möglicherweise nicht so schnell aufholen.
Wie DLSS 3 funktioniert (und wie nicht)
Man könnte meinen, DLSS 3 sei eine völlig neue Version von DLSS, aber das ist nicht der Fall. Zumindest ist es nicht ganz neu. Das Rückgrat von DLSS 3 ist die gleiche Super-Resolution-Technologie, die heute in DLSS-Titeln verfügbar ist, und Nvidia wird sie vermutlich mit neuen Versionen weiter verbessern. Nvidia sagt, dass Sie den Super-Resolution-Teil von DLSS 3 jetzt als separate Option in den Grafikeinstellungen sehen werden.
Der neue Teil ist die Frame-Generierung. DLSS 3 generiert bei jedem zweiten Frame ein völlig einzigartiges Bild, also im Wesentlichen sieben von acht Pixeln, die Sie sehen. Eine Veranschaulichung dazu finden Sie im Flussdiagramm unten. Bei 4K rendert Ihre GPU nur die Pixel für 1080p und verwendet diese Informationen nicht nur für das aktuelle Bild, sondern auch für das nächste Bild.
Laut Nvidia wird die Bilderzeugung ein separater Schalter zur Superauflösung sein. Das liegt daran, dass die Frame-Generierung vorerst nur auf GPUs der RTX 40-Serie funktioniert, während die Superauflösung weiterhin auf allen RTX-Grafikkarten funktioniert, selbst in Spielen, die auf DLSS 3 aktualisiert wurden. Es sollte selbstverständlich sein, aber wenn die Hälfte Ihrer Frames werden vollständig generiert, das wird Ihre Leistung steigern
Die Frame-Generierung ist jedoch nicht nur ein KI-Geheimrezept. In DLSS 2 und Tools wie FSR sind Bewegungsvektoren ein wichtiger Input für die Hochskalierung. Sie beschreiben, wohin sich Objekte von einem Bild zum nächsten bewegen, Bewegungsvektoren gelten jedoch nur für die Geometrie in einer Szene. Elemente ohne 3D-Geometrie, wie Schatten, Reflexionen und Partikel, wurden traditionell aus dem Hochskalierungsprozess ausgeblendet, um visuelle Artefakte zu vermeiden.
Maskierung ist keine Option, wenn eine KI einen völlig einzigartigen Frame generiert. Hier kommt der Optical Flow Accelerator in GPUs der RTX 40-Serie ins Spiel. Es ist wie ein Bewegungsvektor, nur dass die Grafikkarte die Bewegung einzelner Pixel von einem Bild zum nächsten verfolgt. Dieses optische Flussfeld trägt zusammen mit Bewegungsvektoren, Tiefe und Farbe zum KI-generierten Bild bei.
Das hört sich alles nach Vorteilen an, aber es gibt ein großes Problem mit den von der KI generierten Frames: Sie erhöhen die Latenz. Der von der KI erzeugte Frame durchläuft niemals Ihren PC – es handelt sich um einen „gefälschten“ Frame, sodass Sie ihn bei herkömmlichen FPS-Anzeigen in Spielen oder Tools wie FRAPS nicht sehen werden. Die Latenz sinkt also nicht, obwohl es so viele zusätzliche Frames gibt, und aufgrund des Rechenaufwands des optischen Flusses steigt die Latenz tatsächlich an. Aus diesem Grund erfordert DLSS 3 Nvidia Reflex, um die höhere Latenz auszugleichen.
Normalerweise speichert Ihre CPU eine Renderwarteschlange für Ihre Grafikkarte, um sicherzustellen, dass Ihre GPU nie auf Arbeit wartet (was zu Rucklern und Bildrateneinbrüchen führen würde). Reflex entfernt die Render-Warteschlange und synchronisiert Ihre GPU und CPU, sodass die GPU mit der Verarbeitung beginnt, sobald Ihre CPU Anweisungen senden kann. Laut Nvidia kann Reflex, wenn es zusätzlich zu DLSS 3 angewendet wird, manchmal sogar zu einer Reduzierung der Latenz führen.
Wo KI einen Unterschied macht
Microsoft Flugsimulator | NVIDIA DLSS 3 – Exklusiver erster Blick
AMDs FSR 2.0 verwendet keine KI, und wie ich vor einiger Zeit schrieb, beweist es, dass man mit Algorithmen statt maschinellem Lernen die gleiche Qualität wie DLSS erreichen kann. DLSS 3 ändert dies mit seinen einzigartigen Funktionen zur Frame-Generierung sowie der Einführung des optischen Flusses.
Optischer Fluss ist keine neue Idee – es gibt ihn schon seit Jahrzehnten und seine Anwendungsmöglichkeiten reichen von Videobearbeitungsanwendungen bis hin zu selbstfahrenden Autos. Allerdings ist die Berechnung des optischen Flusses mit maschinellem Lernen relativ neu, da immer mehr Datensätze zum Trainieren von KI-Modellen zur Verfügung stehen. Der Grund, warum Sie KI verwenden möchten, ist einfach: Bei ausreichendem Training führt sie zu weniger visuellen Fehlern und verursacht zur Laufzeit nicht so viel Overhead.
DLSS wird zur Laufzeit ausgeführt. Es ist möglich, einen Algorithmus ohne maschinelles Lernen zu entwickeln, um abzuschätzen, wie sich jedes Pixel von einem Bild zum nächsten bewegt, aber das ist rechenintensiv, was dem eigentlichen Sinn des Supersamplings überhaupt zuwiderläuft. Mit einem KI-Modell, das nicht viel Leistung und genügend Trainingsdaten erfordert – und seien Sie versichert, Nvidia verfügt über jede Menge Trainingsdaten, mit denen es arbeiten kann – können Sie einen optischen Fluss von hoher Qualität erzielen, der zur Laufzeit ausgeführt werden kann.
Dies führt zu einer Verbesserung der Bildrate selbst bei Spielen mit eingeschränkter CPU. Supersampling gilt nur für Ihre Auflösung, die fast ausschließlich von Ihrer GPU abhängt. Mit einem neuen Frame, der die CPU-Verarbeitung umgeht, kann DLSS 3 die Frameraten in Spielen verdoppeln, selbst wenn Sie einen vollständigen CPU-Engpass haben. Das ist beeindruckend und derzeit nur mit KI möglich.
Warum FSR 2.0 (vorerst) nicht aufholen kann
AMD hat mit FSR 2.0 wirklich das Unmögliche geschafft. Es sieht fantastisch aus und die Tatsache, dass es markenunabhängig ist, ist noch besser. Ich war bereit, DLSS für FSR 2.0 aufzugeben, seit ich es zum ersten Mal in gesehen habe. Aber so sehr mir FSR 2.0 gefällt und ich denke, dass es ein großartiges Teil des Kits von AMD ist, wird es in absehbarer Zeit nicht an DLSS 3 herankommen.
Zunächst einmal ist die Entwicklung eines Algorithmus, der jedes Pixel zwischen Bildern ohne Artefakte verfolgen kann, schwierig genug, insbesondere in einer 3D-Umgebung mit dichten, feinen Details (ist ein Paradebeispiel). Es ist möglich, aber schwierig. Das größere Problem ist jedoch, wie aufgebläht dieser Algorithmus sein müsste. Jedes Pixel durch den 3D-Raum verfolgen, die Berechnung des optischen Flusses durchführen, einen Rahmen erstellen und alle Pannen beseitigen, die auf dem Weg passieren – das ist eine Menge verlangt.
Das zum Laufen zu bringen, während ein Spiel ausgeführt wird, und trotzdem eine Verbesserung der Bildrate auf dem Niveau von FSR 2.0 oder DLSS zu erzielen, ist noch anspruchsvoller. Selbst mit dedizierten Prozessoren und einem trainierten Modell muss Nvidia immer noch Reflex verwenden, um die durch den optischen Fluss verursachte höhere Latenz auszugleichen. Ohne diese Hardware oder Software würde FSR wahrscheinlich zu viel Latenz in Kauf nehmen, um Frames zu generieren.
Ich habe keinen Zweifel daran, dass AMD und andere Entwickler es irgendwann schaffen werden – oder einen anderen Weg finden, das Problem zu umgehen –, aber das könnte noch ein paar Jahre dauern. Das ist im Moment schwer zu sagen.
Demnächst erhältlich – erster Teaser-Trailer zur GeForce RTX 4090 DLSS 3
Man kann es leicht sagen: DLSS 3 sieht sehr spannend aus. Natürlich müssen wir warten, bis es da ist, um die Leistungsansprüche von Nvidia zu bestätigen und zu sehen, wie sich die Bildqualität schlägt. Bisher haben wir nur ein kurzes Video von Digital Foundry, das DLSS 3-Filmmaterial zeigt (oben), das ich wärmstens empfehlen würde, anzuschauen, bis wir weitere Tests von Drittanbietern sehen. Aus unserer aktuellen Sicht sieht DLSS 3 jedoch durchaus vielversprechend aus.
