RF

En optique et en imagerie computationnelle, RF signifie « radiance field » (champ de radiance) : une représentation mathématique de la façon dont la lumière se propage dans un volume d'espace. Plutôt que de stocker une seule image, un modèle RF capture l'intensité et la direction des rayons lumineux à chaque point d'une région tridimensionnelle. Cela permet la reconstruction de vues photoréalistes sous n'importe quel angle de caméra, même des angles où aucune photographie n'a été prise à l'origine.

Le concept de champ de radiance s'appuie sur des décennies de théorie en infographie, mais est devenu pratiquement réalisable sur le plan informatique vers 2019 avec l'introduction des champs de radiance neuronaux (NeRF). Un champ de radiance neuronal utilise un réseau neuronal profond pour apprendre et compresser les données du champ lumineux à partir d'un ensemble de photographies d'entrée prises autour d'un objet ou d'une scène. Le réseau apprend à prédire la radiance (luminosité et couleur) le long de tout rayon traversant l'espace, indexé par la position et la direction de visualisation. Cela rend les systèmes RF particulièrement précieux dans les effets visuels, la visualisation de produits 3D et l'imagerie scientifique où une géométrie de capture dense est irréalisable.

Capture et calcul

La création d'un RF nécessite plusieurs photographies d'entrée du sujet cible prises à partir de positions et d'orientations de caméra connues. Une configuration de capture typique peut utiliser 20 à 100 images ou plus, selon la complexité de la scène et la qualité de reconstruction souhaitée. Les images d'entrée sont traitées pour estimer les intrinsèques de la caméra, la profondeur, les normales de surface ou d'autres indices géométriques, que le modèle de champ de radiance utilise comme contraintes. Le rendu d'une nouvelle vue implique d'interroger le champ appris le long des rayons émanant d'une caméra virtuelle, en accumulant les contributions lumineuses pour produire une valeur de pixel.

La principale limitation des méthodes RF actuelles est le coût en mémoire et en calcul pendant l'entraînement et l'inférence. Un modèle NeRF haute résolution peut nécessiter des heures d'entraînement GPU et des dizaines de secondes par image rendue sur du matériel courant. Des variantes telles que les primitives graphiques neuronales instantanées et les champs de radiance factorisés tentent de réduire ce fardeau grâce à des représentations compactes et des structures d'accélération, mais les compromis entre la vitesse, la qualité et la taille du modèle restent des domaines de recherche actifs.

Le RF se situe à l'intersection de la photogrammétrie, du rendu neuronal et de l'infographie. Contrairement à la reconstruction 3D traditionnelle (qui produit une géométrie explicite) ou au rendu basé sur l'image (qui mélange les photographies d'entrée), les champs de radiance encodent implicitement à la fois la géométrie et l'apparence dans une fonction apprise. Cette nature hybride les rend moins interprétables que les modèles basés sur des maillages, mais plus flexibles pour la synthèse de nouvelles vues de haute fidélité dans des scénarios où la géométrie de vérité terrain est difficile à acquérir.