Instant NeRF puede transformar imágenes 2D en una escena 3D en unos pocos milisegundos

Realmente es la era de la tecnología moderna donde las cosas se pueden hacer en cuestión de segundos. Eso lo demuestra Instant NeRF, que pudo renderizar una escena 3D con una modelo vestida como Andy Warhol en una demo realizada por NVIDIA Equipo de investigación. El proceso solo tomó decenas de milisegundos para hacerlo usando fotos fijas tomadas en diferentes ángulos.

Según la NVIDIA, el concepto de Instant NeRF es bastante simple: usar renderizado inverso y aplicarlo a campos de radiación neuronal, o NeRF, uno puede transformar un conjunto de imágenes 2D en un trabajo 3D en un instante. Esto está lejos de los métodos tradicionales de renderizar una escena 3D, lo que suele tardar horas o días, según los detalles que desee incluir. Los primeros modelos NeRF que usan IA acortan de alguna manera el período de renderizado, aunque no es tan significativo. Entonces aquí viene Instant NeRF, el método que puede hacerlo en milisegundos. 

“Si las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan densamente la forma en que la luz se irradia desde un objeto o dentro de una escena”, dice David Luebke, vicepresidente de investigación de gráficos de NVIDIA. “En ese sentido, Instant NeRF podría ser tan importante para el 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando enormemente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D”.

Instant NeRF incluye un rápido proceso de captura de imágenes 2D para capturar las tomas fijas, ya que los movimientos de los sujetos pueden traducirse en una escena 3D borrosa. Después de esto, el NeRF recreará la escena proporcionando la información que falta y prediciendo el color de la luz que se irradia en cualquier dirección en el espacio 3D.

“Se basa en una técnica desarrollada por NVIDIA llamada codificación hash grid de resolución múltiple, que está optimizada para ejecutarse de manera eficiente en las GPU de NVIDIA”, escribe Isha Salian, parte del equipo de comunicaciones corporativas de NVIDIA, en un del blog. “Usando un nuevo método de codificación de entrada, los investigadores pueden lograr resultados de alta calidad usando una pequeña red neuronal que se ejecuta rápidamente… El modelo fue desarrollado usando NVIDIA CUDA Toolkit y la biblioteca Tiny CUDA Neural Networks. Dado que es una red neuronal liviana, se puede entrenar y ejecutar en una sola GPU NVIDIA, lo que la hace más rápida en tarjetas con NVIDIA Tensor Cores”.

Según NVIDIA, Instant NeRF puede ser útil para una amplia variedad de propósitos, incluida la creación de avatares y mundos virtuales o la reconstrucción de escenas y eventos en forma 3D. También se puede utilizar para ayudar y entrenar a los robots para que aprendan el tamaño, la forma y las dimensiones reales de los objetos.