O projeto Fusion4D da Microsoft Research pode permitir telepresença imersiva de alta fidelidade
2 minutos. ler
Publicado em
Compartilhe este artigo
Melhore este guia
Leia nossa página de divulgação para descobrir como você pode ajudar o MSPoweruser a sustentar a equipe editorial Saiba mais
A Microsoft Research revelou recentemente detalhes sobre seu mais recente projeto chamado Fusion4D, que é um novo pipeline para captura de desempenho de visualização múltipla ao vivo, gerando reconstruções de alta qualidade temporalmente coerentes em tempo real. Seu algoritmo suporta tanto a reconstrução incremental, melhorando a estimativa da superfície ao longo do tempo, quanto parametrizando o movimento não rígido da cena.
Nossa abordagem é altamente robusta para grandes mudanças de movimento quadro a quadro e topologia, permitindo-nos reconstruir cenas extremamente desafiadoras. Demonstramos vantagens sobre as técnicas relacionadas em tempo real que deformam um modelo gerado on-line ou fundem continuamente dados de profundidade de forma não rígida em um único modelo de referência. Finalmente, mostramos resultados de reconstrução geométrica a par com métodos offline que exigem ordens de magnitude mais tempo de processamento e muito mais câmeras RGBD.
A MSR acredita que este trabalho pode permitir novos tipos de experiências de captura de performance ao vivo, como a transmissão de eventos ao vivo, incluindo esportes e shows em 3D, e também a capacidade de capturar humanos ao vivo e re-renderizados em outras localizações geográficas para permitir uma imersão imersiva de alta fidelidade telepresença. Saiba mais sobre este projeto em Pesquisa da Microsoft.
Também é importante notar que a maioria dos pesquisadores que trabalharam neste projeto na Microsoft Research deixou a empresa para iniciar uma nova empresa chamada PerceptivoIO. Encontre a lista de pesquisadores que contribuíram para este projeto abaixo. Com exceção de Yury Degtyarev e Pushmeet Kohli, todas as outras pessoas estão agora em PerceptivoIO.
Mingsong Dou (2), Sameh Khamis (2), Yury Degtyarev (1), Philip Davidson (2) Sean Ryan Fanello (2), Adarsh Kowdle (2), Sergio Orts Escolano (2), Christoph Rhemann (2), David Kim (2), Jonathan Taylor (2), Pushmeet Kohli (1), Vladimir Tankovich (2), Shahram Izadi (2)
(1) Microsoft Research (2) perceptivoIO
