微软研究院Fusion4D项目可实现高保真沉浸式远程呈现

微软研究院最近透露了其最新项目 Fusion4D 的详细信息，该项目是用于实时多视图性能捕获的新管道，可实时生成时间连贯的高质量重建。 他们的算法支持增量重建，随着时间的推移改进表面估计，以及参数化非刚性场景运动。

我们的方法对大型帧到帧运动和拓扑变化都非常稳健，使我们能够重建极具挑战性的场景。 我们展示了相对于相关实时技术的优势，这些技术要么使在线生成的模板变形，要么不断地将深度数据非刚性地融合到单个参考模型中。 最后，我们展示了与离线方法相当的几何重建结果，离线方法需要更多数量级的处理时间和更多的 RGBD 相机。

MSR 认为，这项工作可以实现新型的现场表演捕捉体验，例如以 3D 形式直播包括体育和音乐会在内的现场活动，还能够现场捕捉人类并在其他地理位置重新渲染以实现高保真沉浸式远程呈现。 了解更多关于这个项目的信息 微软研究院。 

同样重要的是要注意，在微软研究院从事这个项目的大多数研究人员都离开了公司，创办了一家名为 感知IO. 在下面找到为该项目做出贡献的研究人员列表。 除了 Yury Degtyarev 和 Pushmeet Kohli，其他所有人现在都在 感知IO.

Mingsong Dou (2), Sameh Khamis (2), Yury Degtyarev (1), Philip Davidson (2) Sean Ryan Fanello (2), Adarsh Kowdle (2), Sergio Orts Escolano (2), Christoph Rhemann (2), David Kim (2)、Jonathan Taylor (2)、Pushmeet Kohli (1)、Vladimir Tankovich (2)、Shahram Izadi (2)

(1) 微软研究院 (2) perceptiveIO