Миттєвий NeRF може перетворити 2D-зображення в 3D-сцену за кілька мілісекунд

Це дійсно епоха сучасних технологій, коли все можна зробити за лічені секунди. Це підтверджує Instant NeRF, який зміг відтворити тривимірну сцену модель, одягнена як Енді Ворхол у демонстрації, проведеній NVIDIA Дослідницька група. Процес зайняв лише десятки мілісекунд, щоб зробити це за допомогою фотографій, зроблених під різними кутами.

За оцінками NVIDIA, концепція Instant NeRF досить проста: використання зворотного рендерингу та його застосування нейронні поля сяйва, або NeRF, можна миттєво перетворити набір 2D-зображень у тривимірну роботу. Це далеке від традиційних методів візуалізації 3D-сцени, яка зазвичай займає години або дні залежно від деталей, які ви хочете включити. Ранні моделі NeRF, які використовують штучний інтелект, якимось чином скорочують період візуалізації, хоча і не так суттєво. Тоді ось і миттєвий NeRF, метод, який може зробити це за мілісекунди. 

«Якщо традиційні 3D-подання, такі як полігональні сітки, схожі на векторні зображення, NeRF схожі на растрові зображення: вони щільно фіксують те, як світло випромінюється від об’єкта або всередині сцени», – каже Девід Любке, віце-президент NVIDIA Graphics Research. «У цьому сенсі Instant NeRF може бути настільки ж важливим для 3D, як цифрові камери та стиснення JPEG для 2D-зйомки, що значно збільшує швидкість, простоту та охоплення 3D-зйомки та обміну».

Миттєвий NeRF включає швидкий процес захоплення 2D-зображення для зйомки фотографій, оскільки рухи об’єктів можуть перетворитися на розмиту 3D-сцену. Після цього NeRF відтворить сцену, надавши відсутню інформацію та передбачивши колір світла, що випромінює в будь-якому напрямку в тривимірному просторі.

«Він спирається на техніку, розроблену NVIDIA, яка називається кодуванням хеш-сітки з багатьма роздільною здатністю, яка оптимізована для ефективної роботи на графічних процесорах NVIDIA», — пише Іша Саліан, частина команди корпоративних комунікацій NVIDIA. блог. «Використовуючи новий метод кодування введення, дослідники можуть досягти високоякісних результатів за допомогою крихітної нейронної мережі, яка швидко працює… Модель була розроблена з використанням NVIDIA CUDA Toolkit та бібліотеки Tiny CUDA Neural Networks. Оскільки це легка нейронна мережа, її можна навчати й запускати на одному графічному процесорі NVIDIA — найшвидше працює на картах із тензорними ядрами NVIDIA».

За даними NVIDIA, Instant NeRF може бути корисним для широкого спектру цілей, включаючи створення аватарів і віртуальних світів або реконструкцію сцен і подій у 3D-формі. Його також можна використовувати для допомоги та навчання роботів вивчати розмір, форму та фактичні розміри об’єктів.