Xbox One용 차세대 Kinect 제작의 도전 과제 살펴보기

Playstation은 Kinect 버전을 PS4와 함께 번들로 제공하지 않은 것을 심각하게 후회할 것이라고 생각합니다. 어쨌든 그들은 Kinect 2.0만큼 좋지 않을 것이라는 것을 알고 있었을 것입니다.

Microsoft Silicon Valley 기반 Architecture and Silicon Management 그룹의 Microsoft 파트너 하드웨어 설계자인 Cyrus Bamji와 그의 팀 구성원은 ToF 카메라를 Xbox One에 통합하려고 했습니다. 

ToF(Time-of-Flight) 카메라는 빛 신호를 방출한 다음 신호가 돌아오는 데 걸리는 시간을 측정합니다. 1/10,000,000,000초까지 정확해야 합니다. 빛의 속도. 이러한 측정을 통해 카메라는 실내 및 주변 환경의 물체에서 반사되는 빛을 구별할 수 있습니다. 이는 해당 물체의 모양을 계산할 수 있는 정확한 깊이 추정을 제공합니다.

그 빛의 속도 기능은 다음 달에 13개 출시 시장에 출시되는 Xbox One의 Kinect 센서 부분에 대한 주요 발전이 될 것입니다. 경쟁 제품과 비교하여 Xbox One의 주요 차별화 요소인 새로운 Kinect는 더 높은 정확도와 더 높은 해상도로 더 넓은 시야를 캡처해야 했습니다. 적외선 센서는 조명이 거의 필요하지 않거나 전혀 필요하지 않은 물체 식별을 가능하게 하고 손 포즈 인식을 개선하여 게이머와 일반 사용자가 손으로 콘솔을 제어할 수 있도록 합니다.

"비행 시간(time-of-flight)과 같은 비교적 새로운 기술을 상용 제품에 적용하면 많은 일이 발생합니다."라고 그는 말합니다. “제품이 만들어지기 전에는 그것이 얼마나 중요한지 몰랐던 것들이 있습니다. 예를 들어, 우리는 이론적으로 비행 중 모션 블러가 큰 문제라는 것을 알고 있지만, 얼마나 중요한지는 그것을 사용하여 제품을 구축하고 해당 제품이 우수한 경험을 제공해야 할 때만 발견할 수 있습니다.”

새로운 카메라의 고해상도와 더 넓은 시야각으로 다양한 장면에서 정확한 깊이 측정은 사용자 경험 문제를 야기하여 예를 들어 손가락과 같은 작은 물체가 배경으로 사라지는 것을 방지하기 어렵게 만듭니다. 이러한 기능은 더 다양한 장치 성능을 제공했지만 다양한 고해상도 장면에서 정확한 깊이 측정의 필요성과 같은 실제 시나리오에서 자체적인 문제도 발생했습니다. 더 넓은 시야와 모션 블러를 개선할 뿐만 아니라 깨끗한 데이터가 신속하게 필요했습니다. Xbox One은 2013년 홀리데이 시즌을 대비해야 했습니다.

ToF 데이터의 아날로그 특성은 이러한 솔루션을 제공하는 데 어려움을 주었습니다.

Acharya는 "센서에서 나오는 ToF 데이터는 픽셀당, 프레임당이며 훨씬 더 많은 아날로그 정보가 있습니다."라고 말합니다. "또 다른 문제는 배경 물체에 가까운 전경 물체가 배경으로 녹아들 수 있다는 것입니다. 다시 말하지만, 우리 센서가 가장자리에 착륙하는 픽셀에 대한 깊이 데이터를 제공하는 방식의 아날로그적 특성 때문입니다."

"이로 인해 많은 정보가 생성되었으며 소프트웨어 및 게임 개발자가 사용하는 전경/배경 추출 및 장면 분할을 더 쉽게 하기 위해 요구 사항은 파이프에 소프트웨어 알고리즘을 추가하여 이 데이터를 동시에 정리하는 것이었습니다. 실적 히트. 이것은 결정적이었습니다. 우리는 다양한 작업 흐름으로 시작했고, 결국 문제를 극복하기 위해 시스템의 매개변수를 최적화하기로 결정했습니다.”

공동 작업자는 개체가 서로 가까이 있는 경우에도 전경과 배경을 명확하게 구분하기를 원했습니다. 그 역시 어려운 일이었다. 그리고 모션 블러가 발생했습니다.

 Acharya는 "모션 블러는 최소화해야 하는 매개변수이며 특정 기술이 아닙니다. ToF(Time-of-Flight) 카메라는 글로벌 셔터를 사용하여 모션 블러를 크게 줄이는 데 도움이 되었습니다. 원래 Kinect의 65밀리초에서 현재는 14밀리초 미만입니다."

다른 도전 과제가 제시되었습니다. 우선 처리 시간이 문제가 되었습니다. 비행 시간 시스템에 대한 학술 문헌에서 처리 시간은 문제가 되지 않았습니다. 실험실 환경에서 이 기술은 잘 작동했습니다. 그러나 Xbox One은 초당 무려 6.5만 픽셀을 처리해야 합니다. 그리고 이 작업에는 Xbox One의 컴퓨팅 성능 중 극히 일부만 활용할 수 있습니다. 당연하게도 게임, 골격 추적, 얼굴 인식 및 오디오와 같은 필수 요소에 가장 큰 비중을 차지합니다.

Krupka는 "각 픽셀에 대해 매우 가벼운 계산을 수행해야 하며 이것이 이 분야의 학술 문헌에서 일반적인 접근 방식과 다른 문제를 어렵게 만드는 요소 중 하나입니다."라고 말합니다.

놀랍게도 이 모든 것이 함께 이루어졌으며, 이는 곧 전 세계의 엔터테인먼트 애호가들이 Xbox One 경험에 기뻐할 것이며 플랫폼 개발을 열망하는 사람들도 곧 기뻐할 것임을 의미합니다. 에지 데이터 노이즈를 줄이면 데이터 개발자가 준비할 수 있고 전경과 배경을 명확하게 구분할 수 있어 복잡한 계산 문제를 해결할 수 있습니다. 데이터가 깨끗하고 게임 개발자가 더 쉽게 흡수할 수 있습니다.

Xbox One에 있는 Kinect 감지 장치의 또 다른 매력적인 기능은 완전히 어두운 방에서 물체를 식별할 수 있는 적외선 센서에서 비롯됩니다. 육안으로 볼 수 있는 빛이 없어도 사람을 인식하고 신체를 추적할 수 있습니다. XNUMXm 떨어진 곳에서 손 포즈를 식별하고, 아이의 손가락을 보고, 실내 조명이 없어도 신원을 기억할 수 있습니다.

더 넓은 시야를 통해 더 많은 플레이어가 Xbox One 게임을 동시에 플레이할 수 있습니다. 새 콘솔을 사용하면 최대 XNUMX명의 플레이어가 한 장면에 모일 수 있습니다. 키가 큰 성인은 그림에서 밀리지 않고 어린 아이와 함께 놀 수 있습니다. 사용자는 가까이, 멀리 또는 방 주변에 서 있으면 더 나은 경험을 얻을 수 있습니다.

또한 향상된 손 포즈 인식을 통해 사용자는 컨트롤러 없이 손만 사용하여 Xbox One과 상호 작용할 수 있습니다. 적외선 카메라 덕분에 어떤 조명에서도 손의 움직임을 식별할 수 있습니다. 이전의 손 포즈 솔루션은 속도와 정확성을 모두 제공할 수 있었지만 둘 다 제공하지는 못했습니다. Xbox 팀과 Microsoft Research가 공동으로 고안한 손 포즈 솔루션은 두 가지 모두를 수행할 수 있습니다.

출처: 공식 Microsoft 블로그