RF

In der Optik und Computational Imaging steht RF für Radiance Field, eine mathematische Darstellung, wie Licht durch ein Raumvolumen wandert. Ein RF-Modell erfasst nicht einfach ein einzelnes Bild, sondern die Intensität und Richtung von Lichtstrahlen an jedem Punkt einer dreidimensionalen Region. Das ermöglicht die Rekonstruktion fotorealistischer Ansichten aus jedem Kamerawinkel, sogar aus Winkeln, aus denen ursprünglich keine Fotografie gemacht wurde.

Das Radiance-Field-Konzept basiert auf Jahrzehnten Computergrafik-Theorie, wurde aber um 2019 mit der Einführung von Neural Radiance Fields (NeRF) rechentechnisch praktikabel. Ein neuronales Radiance Field nutzt ein tiefes künstliches neuronales Netz, um Lichtfelddaten aus einer Reihe von Eingabefotografien zu lernen und zu komprimieren, die um ein Objekt oder eine Szene herum aufgenommen wurden. Das Netz lernt, die Leuchtdichte (Helligkeit und Farbe) entlang beliebiger Strahlen im Raum vorherzusagen, indiziert durch Position und Blickrichtung. Das macht RF-Systeme besonders wertvoll in Visual Effects, 3D-Produktvisualisierung und wissenschaftlicher Bildgebung, wo eine dichte Erfassungsgeometrie nicht machbar ist.

Erfassung und Berechnung

Die Erstellung eines RF erfordert mehrere Eingabefotografien des Motivs von bekannten Kamerapositionen und Orientierungen. Eine typische Erfassungseinrichtung könnte je nach Szenekomplexität und gewünschter Rekonstruktionsqualität 20 bis über 100 Bilder nutzen. Die Eingabebilder werden verarbeitet, um Kameraintrinsiken, Tiefe, Oberflächennormalen oder andere geometrische Hinweise zu schätzen, die das Radiance-Field-Modell als Randbedingungen nutzt. Das Rendern einer neuen Ansicht beinhaltet das Abfragen des erlernten Feldes entlang von Strahlen, die von einer virtuellen Kamera ausgehen, und das Akkumulieren von Lichtbeiträgen zur Erzeugung eines Pixelwerts.

Die Haupteinschränkung aktueller RF-Methoden ist der Speicher- und Rechenbedarf während Training und Inferenz. Ein hochaufgelöstes NeRF-Modell kann mehrere Stunden GPU-Training und viele Sekunden pro gerendertem Frame auf Standard-Hardware erfordern. Varianten wie Instant Neural Graphics Primitives und Factored Radiance Fields versuchen diese Last durch kompakte Darstellungen und Beschleunigungsstrukturen zu verringern, aber Kompromisse zwischen Geschwindigkeit, Qualität und Modellgröße bleiben aktive Forschungsgebiete.

RF liegt am Schnittpunkt von Photogrammetrie, Neural Rendering und Computergrafik. Anders als traditionelle 3D-Rekonstruktion (die explizite Geometrie erzeugt) oder bildbasiertes Rendering (das Eingabefotografien vermischt), kodieren Radiance Fields implizit sowohl Geometrie als auch Erscheinungsbild in einer erlernten Funktion. Diese Hybrid-Natur macht sie weniger interpretierbar als netzbasierte Modelle, aber flexibler für hochfidelity Novel-View-Synthese in Szenarien, in denen Ground-Truth-Geometrie schwer zu erfassen ist.