마이크로소프트, 최신 스마트폰 주변에서 공중 제스처의 가능성 탐구

마이크로소프트 리서치(Microsoft Research)는 최근 스마트폰용 공중 제스처 인식 시스템을 개발하는 새로운 프로젝트를 공개했습니다. 한 손에는 스마트폰을 들고 다른 한 손에는 제스처를 취하여 콘텐츠와 상호 작용할 수 있습니다. 우리에게 익숙한 기존 터치 스크린 메커니즘을 보완합니다. 게임, 매핑 등 다양한 사용 사례에 적용할 수 있습니다.

프로젝트 설명:

우리는 모바일 장치 주변의 상호 작용 공간을 확장하는 새로운 기계 학습 기반 알고리즘을 제시합니다. 이 기술은 이제 기성품 모바일 장치에서 흔히 볼 수 있는 RGB 카메라만 사용합니다. 우리의 알고리즘은 다양한 공중 제스처를 강력하게 인식하여 사용자 변화 및 다양한 조명 조건을 지원합니다. 리소스가 제한된 스마트폰 및 스마트워치를 포함하여 수정되지 않은 모바일 장치에서 알고리즘이 실시간으로 실행됨을 보여줍니다. 우리의 목표는 터치스크린을 기본 입력 장치로 대체하는 것이 아니라 제스처를 사용하여 기존 상호 작용 어휘를 보강하고 풍부하게 하는 것입니다. 터치 입력은 많은 시나리오에서 잘 작동하지만 모드 전환, 애플리케이션 및 작업 관리, 메뉴 선택 및 특정 유형의 탐색과 같은 다양한 상호 작용 작업을 시연합니다. 이러한 입력은 공중 제스처로 보완되거나 더 잘 제공될 수 있습니다. 이렇게 하면 작은 터치스크린에서 화면 공간 문제가 제거되고 입력이 장치 주변의 3D 공간으로 확장될 수 있습니다. 인식 정확도(93% 테스트 및 98% 학습), 메모리 풋프린트의 영향 및 기타 모델 매개변수에 대한 결과를 제시합니다. 마지막으로 사전 사용자 평가 결과를 보고하고 장점과 한계를 논의하고 향후 작업 방향으로 결론을 맺습니다.

출처 : Microsoft