마이크로소프트 연구원들은 손의 움직임을 정확하게 추적하는 시스템을 연구하고 있습니다.

모션 추적은 Microsoft에게 새로운 것이 아니며 Microsoft Kinect와 같은 상용 제품에 대한 전문 지식을 확인했습니다. Microsoft Research의 컴퓨터 비전 팀은 현재 상세한 손 추적의 최신 기술을 연구하고 있습니다. 그들은 실시간으로 손을 부드럽고 빠르고 정확하게 추적할 수 있지만 일반 소비자 기기에서 실행할 수 있는 시스템을 만들었습니다. 이 시스템은 가상 현실 응용 프로그램과 함께 사용할 수 있습니다.

현재로서는 여전히 연구 프로젝트인 이 시스템은 가상 현실 헤드셋을 사용하거나 사용하지 않고 세부적인 손 동작을 추적할 수 있어 사용자가 부드럽고 박제된 토끼를 찌르거나 손잡이를 돌리거나 다이얼을 움직일 수 있습니다.

또한 시스템을 통해 손이 무엇을 하는지 볼 수 있어 사람들이 가상 현실과 상호 작용하지만 자신의 손을 볼 수 없을 때 발생하는 일반적이고 혼란스러운 연결 끊김을 수정할 수 있습니다.

HoloLens 이미 포함 제스처 지원 사용자가 홀로그램과 상호 작용할 수 있도록 합니다. MSR의 이 새로운 프로젝트가 HoloLens의 제스처 입력 환경을 더욱 개선할 수 있기를 바랍니다.

프로젝트 개요:

완전 관절식 손 추적은 가상 및 증강 세계와 근본적으로 새로운 상호 작용을 가능하게 할 것을 약속하지만 현재 시스템의 제한된 정확도와 효율성으로 인해 널리 채택되지 못했습니다. 오늘날의 지배적인 패러다임은 초기화 및 복구를 위해 머신 러닝을 사용한 다음 반복적인 모델 피팅 최적화를 사용하여 상세한 포즈 피팅을 달성합니다. 우리는 이 패러다임을 따르지만 다음을 사용하여 모델 피팅에 몇 가지 변경 사항을 적용합니다. (1) 보다 차별적인 목적 함수; (2) 비선형 최적화를 위한 기울기를 제공하는 매끄러운 표면 모델; 및 (3) 모델 포즈와 관찰된 데이터 포인트와 모델 표면 간의 대응 모두에 대한 공동 최적화. 이러한 각 변경 사항은 실제로 피팅 반복당 비용을 증가시킬 수 있지만 반복 횟수는 보상적으로 감소합니다. 또한, 수렴 유역이 넓다는 것은 성공적인 모델 피팅에 필요한 시작점이 더 적음을 의미합니다. 우리 시스템은 CPU에서만 실시간으로 실행되므로 경험 디자이너에게 일반적으로 과중한 GPU 부담을 덜어줍니다. 핸드 트래커는 태블릿과 같은 저전력 장치에서 실행하기에 충분히 효율적입니다. 우리는 현재 세대 깊이 카메라의 노이즈 데이터를 사용하는 경우에도 상호 작용을 위한 큰 작업 볼륨을 제공하기 위해 카메라에서 최대 몇 미터까지 추적할 수 있습니다. 표준 데이터 세트에 대한 정량적 평가는 새로운 접근 방식이 정확성 면에서 최신 기술을 능가함을 보여줍니다. 질적 결과는 이 새로운 접근 방식으로 가능해진 다양한 대화형 경험의 라이브 녹음 형식을 취합니다.

자세한 내용보기 여기 프로젝트.