Projekt Fusion4D společnosti Microsoft Research může umožnit vysoce věrnou pohlcující teleprezentaci

Microsoft Research nedávno odhalil podrobnosti o svém nejnovějším projektu nazvaném Fusion4D, což je nový kanál pro živé zachycování výkonu z více pohledů, generující časově koherentní vysoce kvalitní rekonstrukce v reálném čase. Jejich algoritmus podporuje jak inkrementální rekonstrukci, zlepšující odhad povrchu v průběhu času, tak i parametrizaci nerigidního pohybu scény.

Náš přístup je vysoce odolný jak vůči velkým pohybům mezi snímky, tak změnám topologie, což nám umožňuje rekonstruovat extrémně náročné scény. Demonstrujeme výhody oproti souvisejícím technikám v reálném čase, které buď deformují online vygenerovanou šablonu, nebo kontinuálně spojují data hloubky nepevně do jediného referenčního modelu. Nakonec ukážeme výsledky geometrické rekonstrukce na stejné úrovni jako offline metody, které vyžadují řádově delší dobu zpracování a mnohem více RGBD kamer.

MSR věří, že tato práce může umožnit nové typy zážitků ze zachycení živého vystoupení, jako je vysílání živých akcí včetně sportu a koncertů ve 3D, a také možnost zachytit lidi naživo a nechat je znovu vykreslit v jiných geografických lokalitách, aby umožnily pohlcující vysoce věrné teleprezence. Více o tomto projektu se dozvíte z Výzkum společnosti Microsoft. 

Je také důležité poznamenat, že většina výzkumníků, kteří pracovali na tomto projektu ve společnosti Microsoft Research, opustila společnost a založila novou společnost s názvem VnímavýIO. Níže naleznete seznam výzkumníků, kteří přispěli k tomuto projektu. Kromě Yury Degtyareva a Pushmeeta Kohliho jsou nyní všichni ostatní VnímavýIO.

Mingsong Dou (2), Sameh Khamis (2), Yury Degtyarev (1), Philip Davidson (2) Sean Ryan Fanello (2), Adarsh ​​Kowdle (2), Sergio Orts Escolano (2), Christoph Rhemann (2), David Kim (2), Jonathan Taylor (2), Pushmeet Kohli (1), Vladimir Tankovich (2), Shahram Izadi (2)

(1) Microsoft Research (2) perceptiveIO