Instant NeRF può trasformare le immagini 2D in una scena 3D in pochi millisecondi

È davvero l'era della tecnologia moderna in cui le cose possono essere fatte in pochi secondi. Ciò è dimostrato da Instant NeRF, che è stato in grado di eseguire il rendering di una scena 3D un modello vestito come Andy Warhol in una demo condotta da NVIDIA Gruppo di ricerca. Il processo ha richiesto solo decine di millisecondi per farlo utilizzando foto scattate da diverse angolazioni.

Secondo NVIDIA, il concetto di Instant NeRF è piuttosto semplice: usare il rendering inverso e applicarlo a campi di radianza neurale, o NeRF, è possibile trasformare un insieme di immagini 2D in un'opera 3D in un attimo. Questo è lontano dai metodi tradizionali di rendering di una scena 3D, che di solito richiedono ore o giorni a seconda dei dettagli che si desidera includere. I primi modelli NeRF che utilizzano l'IA in qualche modo riducono il periodo di rendering, anche se non così significativo. Poi arriva Instant NeRF, il metodo che può farlo in millisecondi. 

"Se le rappresentazioni 3D tradizionali come le mesh poligonali sono simili alle immagini vettoriali, i NeRF sono come le immagini bitmap: catturano in modo denso il modo in cui la luce si irradia da un oggetto o all'interno di una scena", afferma David Luebke, NVIDIA Graphics Research Vice President. "In tal senso, Instant NeRF potrebbe essere importante per il 3D come le fotocamere digitali e la compressione JPEG lo sono state per la fotografia 2D, aumentando notevolmente la velocità, la facilità e la portata dell'acquisizione e della condivisione 3D".

Instant NeRF include un rapido processo di acquisizione di immagini 2D per catturare le immagini fisse, poiché i movimenti dei soggetti possono tradursi in una scena 3D sfocata. Successivamente, il NeRF ricreerà la scena fornendo le informazioni mancanti e prevedendo il colore della luce che si irradia in qualsiasi direzione nello spazio 3D.

"Si basa su una tecnica sviluppata da NVIDIA chiamata codifica della griglia hash multi-risoluzione, che è ottimizzata per funzionare in modo efficiente su GPU NVIDIA", scrive Isha Salian, parte del team di comunicazione aziendale di NVIDIA, in un post sul blog. “Utilizzando un nuovo metodo di codifica dell'input, i ricercatori possono ottenere risultati di alta qualità utilizzando una minuscola rete neurale che funziona rapidamente... Il modello è stato sviluppato utilizzando NVIDIA CUDA Toolkit e la libreria Tiny CUDA Neural Networks. Poiché si tratta di una rete neurale leggera, può essere addestrata ed eseguita su una singola GPU NVIDIA, per funzionare più velocemente su schede con NVIDIA Tensor Core".

Secondo NVIDIA, Instant NeRF può essere utile per un'ampia varietà di scopi, inclusa la creazione di avatar e mondi virtuali o la ricostruzione di scene ed eventi in forma 3D. Può anche essere utilizzato per aiutare e addestrare i robot ad apprendere le dimensioni, la forma e le dimensioni effettive degli oggetti.