Microsoft Research работает над трехмерным звуком для телеприсутствия и виртуальной реальности

Microsoft Research работает над системой, которая заставляет звуки исходить из определенных точек пространства. Электроника в верхней части наушников имеет датчики для отслеживания движения головы пользователя. Исследователи Microsoft называют это 3-D Audio. Недавно Technology Review имел возможность испытать эту технологию в лаборатории Microsoft в Силиконовой долине.

Я надел пару беспроводных наушников, которые заставили близлежащие предметы внезапно ожить. Голос исходил из картонной модели портативного радиоприемника. Музыка более высокого качества, казалось, исходила из фальшивого динамика Hi-Fi. А чучело птицы высоко над землей издавало реалистичное чириканье. Пока я ходил, звуки менялись так, что иллюзия никогда не исчезала, поскольку менялось их положение относительно моих ушей.

Этот несколько жуткий опыт стал возможен благодаря тому, что менее чем за минуту до этого я сел перед сенсором Kinect 3-D и ненадолго повернулся влево и вправо. Программное обеспечение создало трехмерную модель моей головы и плеч, а затем использовало эту модель для расчета персонализированного фильтра, который позволил обмануть мои слуховые ощущения.

Вот информация о проекте от Microsoft,

В этом исследовательском проекте представлены две технологии:

• Визуализированные персонализированные передаточные функции, связанные с головой (HRTF), синтезированные с использованием антропометрических данных, адаптированных к аудиовходу отдельного пользователя.
• Создание иммерсивного звука с помощью наушников и отслеживания человека/головы с помощью трехмерного звука.

Проект создает персонализированные HRTF, сканируя человека с помощью устройства Kinect для Windows, а затем используя гарнитуру для определения предварительно определенной области. Он позволяет пользователю взаимодействовать с виртуальным набором физических объектов, таких как AM-радио, манекен, телефон или телевизор, которые начинают воспроизводить музыку, говорить и звонить. Пользователь может свободно двигаться, вращать головой и приближаться к каждому отдельному источнику звука в виртуальном пространстве.

Подробнее об этом читайте на Обзор технологий.