Microsoft Research의 Fusion4D 프로젝트는 충실도가 높은 몰입형 텔레프레즌스를 가능하게 합니다.

Microsoft Research는 최근 실시간 다중 뷰 성능 캡처를 위한 새로운 파이프라인인 Fusion4D라는 최신 프로젝트에 대한 세부 정보를 공개하여 실시간으로 시간적으로 일관된 고품질 재구성을 생성합니다. 그들의 알고리즘은 증분 재구성을 지원하여 시간이 지남에 따라 표면 추정을 개선하고 비강체 장면 모션을 매개변수화합니다.

우리의 접근 방식은 대규모 프레임 간 모션과 토폴로지 변경 모두에 대해 매우 강력하므로 매우 어려운 장면을 재구성할 수 있습니다. 우리는 온라인으로 생성된 템플릿을 변형하거나 깊이 데이터를 단일 참조 모델에 고정되지 않고 지속적으로 융합하는 관련 실시간 기술에 비해 이점을 보여줍니다. 마지막으로 더 많은 처리 시간과 더 많은 RGBD 카메라가 필요한 오프라인 방법과 동등한 기하학적 재구성 결과를 보여줍니다.

MSR은 이 작업이 스포츠 및 콘서트를 포함한 라이브 이벤트를 3D로 방송하는 것과 같은 새로운 유형의 라이브 공연 캡처 경험을 가능하게 할 수 있으며 사람을 라이브로 캡처하고 다른 지리적 위치에서 다시 렌더링하여 충실도가 높은 몰입감을 제공할 수 있다고 믿습니다. 텔레프레즌스. 이 프로젝트에 대해 자세히 알아보기 마이크로소프트 리서치. 

또한 Microsoft Research에서 이 프로젝트에 참여했던 대부분의 연구원들이 회사를 떠나 지각IO. 아래에서 이 프로젝트에 기여한 연구원 목록을 찾으십시오. Yury Degtyarev와 Pushmeet Kohli를 제외하고 다른 모든 사람은 이제 지각IO.

Mingsong Dou(2), Sameh Khamis(2), Yury Degtyarev(1), Philip Davidson(2) Sean Ryan Fanello(2), Adarsh ​​Kowdle(2), Sergio Orts Escolano(2), Christoph Rhemann(2), David 김(2), 조나단 테일러(2), 푸쉬밋 콜리(1), 블라디미르 탄코비치(2), 샤람 이자디(2)

(1) 마이크로소프트 리서치 (2) perceptiveIO