Instant NeRF kan transformere 2D-bilder til en 3D-scene på noen få millisekunder

Det er virkelig en æra av moderne teknologi hvor ting kan gjøres på bare noen sekunder. Det er bevist av Instant NeRF, som var i stand til å gjengi en 3D-scene med en modell kledd som Andy Warhol i en demo utført av NVIDIA Forskningsteam. Det tok bare titalls millisekunder å gjøre det ved å bruke stillbilder tatt i forskjellige vinkler.

Ifølge NVIDIA, konseptet med Instant NeRF er ganske enkelt: å bruke invers gjengivelse og bruke det på nevrale utstrålingsfelt, eller NeRF, kan man transformere et sett med 2D-bilder til et 3D-verk på et blunk. Dette er langt fra de tradisjonelle metodene for å gjengi en 3D-scene, som vanligvis tar timer til dager avhengig av detaljene du vil inkludere. Tidlige NeRF-modeller som bruker AI forkorter på en eller annen måte gjengivelsesperioden, men ikke så betydelig. Så her kommer Instant NeRF, metoden som kan gjøre det på millisekunder. 

"Hvis tradisjonelle 3D-representasjoner som polygonale masker er beslektet med vektorbilder, er NeRFs som punktgrafikkbilder: de fanger tett opp måten lyset stråler fra et objekt eller i en scene," sier David Luebke, NVIDIA Graphics Research Vice President. "I den forstand kan Instant NeRF være like viktig for 3D som digitale kameraer og JPEG-komprimering har vært for 2D-fotografering - noe som øker hastigheten, brukervennligheten og rekkevidden for 3D-opptak og -deling enormt."

Instant NeRF inkluderer en rask 2D-bildefangstprosess for å fange stillbildene, ettersom bevegelser fra motivene kan oversettes til en uskarp 3D-scene. Etter dette vil NeRF gjenskape scenen ved å gi den manglende informasjonen og forutsi fargen på lys som stråler ut i alle retninger i 3D-rommet.

"Den er avhengig av en teknikk utviklet av NVIDIA kalt multi-resolution hash grid encoding, som er optimalisert for å kjøre effektivt på NVIDIA GPUer," skriver Isha Salian, en del av NVIDIAs bedriftskommunikasjonsteam, i en blogginnlegg. "Ved å bruke en ny input-kodingsmetode kan forskere oppnå resultater av høy kvalitet ved å bruke et lite nevralt nettverk som kjører raskt ... Modellen ble utviklet ved hjelp av NVIDIA CUDA Toolkit og Tiny CUDA Neural Networks-biblioteket. Siden det er et lett nevralt nettverk, kan det trenes og kjøres på en enkelt NVIDIA GPU – kjører raskest på kort med NVIDIA Tensor Cores.»

I følge NVIDIA kan Instant NeRF være nyttig for en rekke formål, inkludert å lage avatarer og virtuelle verdener eller rekonstruere scener og hendelser i 3D-form. Den kan også brukes til å hjelpe og trene robotene til å lære størrelsen, formen og faktiske dimensjonene til objekter.