RF

En óptica e imagen computacional, RF significa campo de radiancia: una representación matemática de cómo viaja la luz a través de un volumen de espacio. En lugar de almacenar una sola imagen, un modelo RF captura la intensidad y dirección de los rayos de luz en cada punto de una región tridimensional. Esto permite la reconstrucción de vistas fotorrealistas desde cualquier ángulo de cámara, incluso ángulos donde no se tomó ninguna fotografía originalmente.

El concepto de campo de radiancia se basa en décadas de teoría de gráficos por computadora, pero se volvió computacionalmente práctico alrededor de 2019 con la introducción de los campos de radiancia neuronales (NeRF). Un campo de radiancia neuronal utiliza una red neuronal profunda para aprender y comprimir los datos del campo de luz de un conjunto de fotografías de entrada tomadas alrededor de un objeto o escena. La red aprende a predecir la radiancia (brillo y color) a lo largo de cualquier rayo que atraviesa el espacio, indexado por posición y dirección de visión. Esto hace que los sistemas RF sean particularmente valiosos en efectos visuales, visualización de productos 3D e imágenes científicas donde la geometría de captura densa es inviable.

Captura y computación

La creación de un RF requiere múltiples fotografías de entrada del sujeto objetivo tomadas desde posiciones y orientaciones de cámara conocidas. Una configuración de captura típica podría usar de 20 a más de 100 imágenes, dependiendo de la complejidad de la escena y la calidad de reconstrucción deseada. Las imágenes de entrada se procesan para estimar los intrínsecos de la cámara, la profundidad, las normales de la superficie u otras señales geométricas, que el modelo de campo de radiancia utiliza como restricciones. La renderización de una vista nueva implica consultar el campo aprendido a lo largo de los rayos que emanan de una cámara virtual, acumulando las contribuciones de luz para producir un valor de píxel.

La principal limitación de los métodos RF actuales es el costo de memoria y computación durante el entrenamiento y la inferencia. Un modelo NeRF de alta resolución puede requerir horas de entrenamiento de GPU y decenas de segundos por cuadro renderizado en hardware comercial. Variantes como las primitivas gráficas neuronales instantáneas y los campos de radiancia factorizados intentan reducir esta carga mediante representaciones compactas y estructuras de aceleración, pero las compensaciones entre velocidad, calidad y tamaño del modelo siguen siendo áreas activas de investigación.

RF se encuentra en la intersección de la fotogrametría, la renderización neuronal y los gráficos por computadora. A diferencia de la reconstrucción 3D tradicional (que produce geometría explícita) o la renderización basada en imágenes (que mezcla fotografías de entrada), los campos de radiancia codifican implícitamente tanto la geometría como la apariencia en una función aprendida. Esta naturaleza híbrida los hace menos interpretables que los modelos basados en mallas, pero más flexibles para la síntesis de vistas nuevas de alta fidelidad en escenarios donde la geometría de verdad fundamental es difícil de adquirir.