Проект Fusion4D від Microsoft Research може забезпечити високу точність імерсивної телеприсутності

Microsoft Research нещодавно оприлюднила подробиці свого останнього проекту під назвою Fusion4D, який є новим конвеєром для запису продуктивності в режимі реального часу з кількома видами, створюючи узгоджені за часом високоякісні реконструкції в режимі реального часу. Їхній алгоритм підтримує як поступову реконструкцію, покращуючи оцінку поверхні з часом, так і параметризуючи нежорсткий рух сцени.

Наш підхід є надзвичайно надійним як до великих кадрових рухів, так і до змін топології, що дозволяє нам реконструювати надзвичайно складні сцени. Ми демонструємо переваги перед пов’язаними методами реального часу, які або деформують створений онлайн шаблон, або постійно об’єднують глибинні дані нежорстко в єдину еталонну модель. Нарешті, ми показуємо результати геометричної реконструкції нарівні з офлайн-методами, які вимагають на порядки більше часу обробки та значно більше камер RGBD.

MSR вважає, що ця робота може створити нові типи захоплення живих виступів, наприклад трансляцію подій у прямому ефірі, включаючи спортивні змагання та концерти, у 3D, а також можливість знімати живих людей і повторно відтворювати їх в інших географічних місцях, щоб забезпечити високу точність ефекту занурення. телеприсутності. Дізнайтеся більше про цей проект з Microsoft Research. 

Також важливо зазначити, що більшість дослідників, які працювали над цим проектом у Microsoft Research, покинули компанію, щоб створити нову компанію під назвою PerceptiveIO. Нижче наведено список дослідників, які брали участь у цьому проекті. Окрім Юрія Дегтярьова та Пушміта Колі, усі інші зараз у PerceptiveIO.

Мінсонг Доу (2), Самех Хаміс (2), Юрій Дегтярьов (1), Філіп Девідсон (2), Шон Райан Фанелло (2), Адарш Коудл (2), Серхіо Ортс Есколано (2), Крістоф Реманн (2), Девід Кім (2), Джонатан Тейлор (2), Пушміт Колі (1), Володимир Танкович (2), Шахрам Ізаді (2)

(1) Microsoft Research (2) perceptiveIO