텔레프레즌스와 가상 현실을 위한 3D 오디오에 대한 Microsoft 연구

Microsoft Research는 소리가 우주의 특정 지점에서 나오는 것처럼 보이게 하는 시스템을 개발하고 있습니다. 헤드폰 상단의 전자 장치에는 착용자의 머리 움직임을 추적하는 센서가 있습니다. 마이크로소프트 연구원들은 이것을 3D 오디오라고 부릅니다. Technology Review는 최근 Microsoft의 실리콘 밸리 연구소에서 이 기술을 경험할 기회가 있었습니다.

근처에 있는 물체에 갑자기 생명을 불어넣는 무선 헤드폰을 착용했습니다. 휴대용 라디오의 판지 모형에서 목소리가 나오는 것 같았다. 더 높은 품질의 음악은 가짜 하이파이 스피커에서 나오는 것 같았습니다. 그리고 땅에서 높이 솟아 있는 박제 새는 사실적인 짹짹거리는 소리를 냈습니다. 내가 걸을 때 소리가 바뀌었기 때문에 내 귀에 대한 위치가 바뀌었을 때 환상이 결코 미끄러지지 않았습니다.

그 다소 으스스한 경험은 3분도 채 되지 않아 Kinect 3-D 센서 앞에 앉아 잠시 좌우로 몸을 돌렸기 때문에 가능했습니다. 소프트웨어는 내 머리와 어깨의 XNUMXD 모델을 만든 다음 해당 모델을 사용하여 내 청각 감각을 속일 수 있는 개인화된 필터를 계산했습니다.

다음은 Microsoft의 프로젝트에 대한 정보입니다.

이 연구 프로젝트에는 두 가지 기술이 있습니다.

• 개별 사용자의 오디오 입력에 맞게 조정된 인체 측정 데이터를 사용하여 합성된 HRTF(개인화된 머리 관련 전달 함수)를 렌더링했습니다.
• 헤드폰과 렌더링된 3D 오디오를 통한 사람/머리 추적을 사용하여 몰입형 오디오 경험을 만듭니다.

이 프로젝트는 Windows용 Kinect 장치를 사용하여 사람을 스캔한 다음 헤드셋을 사용하여 미리 정의된 영역을 식별함으로써 개인화된 HRTF를 생성합니다. 이를 통해 사용자는 AM 라디오, 인체 모형, 전화 또는 텔레비전과 같이 음악을 재생하고 말하고 울리기 시작하는 물리적 개체의 가상 세트와 상호 작용할 수 있습니다. 사용자는 가상 경험 내에서 자유롭게 움직이고 머리를 회전하고 각 개별 음원에 접근할 수 있습니다.

그것에 대해 더 읽어보기 기술 검토.