Исследователи Microsoft работают над системами точного отслеживания движений рук

Отслеживание движения не является чем-то новым для Microsoft, мы видели их опыт в коммерческих продуктах, таких как Microsoft Kinect. Команда компьютерного зрения Microsoft Research в настоящее время работает над последними достижениями в области детального отслеживания рук. Они создали систему, которая может плавно, быстро и точно отслеживать руки в режиме реального времени, но может работать и на обычном потребительском гаджете. Эта система может использоваться с приложениями виртуальной реальности.

Система, которая на данный момент все еще находится в стадии исследовательского проекта, может отслеживать детальное движение рук с помощью гарнитуры виртуальной реальности или без нее, позволяя пользователю потрогать мягкого плюшевого кролика, повернуть ручку или переместить циферблат.

Более того, система позволяет вам видеть, что делают ваши руки, исправляя распространенное и сбивающее с толку отключение, которое происходит, когда люди взаимодействуют с виртуальной реальностью, но не могут видеть свои руки.

HoloLens уже включает поддержка жестов который позволяет пользователям взаимодействовать с голограммами. Надеемся, что этот новый проект от MSR еще больше улучшит возможности ввода с помощью жестов в HoloLens.

Аннотация проекта:

Полностью сформулированное отслеживание рук обещает обеспечить принципиально новые взаимодействия с виртуальными и дополненными мирами, но ограниченная точность и эффективность существующих систем помешали широкому внедрению. Сегодняшняя доминирующая парадигма использует машинное обучение для инициализации и восстановления с последующей итеративной оптимизацией настройки модели для получения детальной позы. Мы следуем этой парадигме, но вносим несколько изменений в настройку модели, а именно используем: (1) более различительную целевую функцию; (2) модель с гладкой поверхностью, обеспечивающая градиенты для нелинейной оптимизации; и (3) совместная оптимизация как позы модели, так и соответствий между наблюдаемыми точками данных и поверхностью модели. Хотя каждое из этих изменений может на самом деле увеличить стоимость итерации настройки, мы обнаружили компенсирующее уменьшение количества итераций. Далее, широкая область конвергенции означает, что для успешной подгонки модели требуется меньше отправных точек. Наша система работает в режиме реального времени только на ЦП, что освобождает обычно перегруженный ГП для дизайнеров опыта. Ручной трекер достаточно эффективен, чтобы работать на маломощных устройствах, таких как планшеты. Мы можем отслеживать до нескольких метров от камеры, чтобы обеспечить большой рабочий объем для взаимодействия, даже используя зашумленные данные от камер глубины текущего поколения. Количественные оценки стандартных наборов данных показывают, что новый подход по точности превосходит современные. Качественные результаты получаются в виде живых записей ряда интерактивных впечатлений, обеспечиваемых этим новым подходом.

Подробнее об этом проект здесь.