Дослідники Microsoft працюють над системами для точного відстеження руху рук

Відстеження руху не є чимось новим для Microsoft, ми бачили їхній досвід у комерційних продуктах, таких як Microsoft Kinect. Команда комп’ютерного зору Microsoft Research зараз працює над останніми досягненнями у детальному відстеженні рук. Вони створили систему, яка може плавно, швидко і точно відстежувати руки в режимі реального часу, але може працювати на звичайному споживчому гаджеті. Цю систему можна використовувати з додатками віртуальної реальності.

Система, яка поки що є дослідницьким проектом, може відстежувати детальні рухи рук як за допомогою гарнітури віртуальної реальності, так і без неї, дозволяючи користувачеві тикати м’якого опудала зайчика, повертати ручку або рухати циферблатом.

Більше того, система дозволяє вам бачити, що роблять ваші руки, виправляючи звичайне та незрозуміле роз’єднання, яке трапляється, коли люди взаємодіють із віртуальною реальністю, але не бачать власних рук.

HoloLens вже включає підтримка жестів що дозволяє користувачам взаємодіяти з голограмами. Сподіваємось, цей новий проект від MSR ще більше покращить досвід введення жестами в HoloLens.

Анотація проекту:

Повністю сформульоване відстеження рук обіцяє створити принципово нові взаємодії з віртуальними та доповненими світами, але обмежена точність та ефективність сучасних систем завадила широкому поширенню. Сучасна домінуюча парадигма використовує машинне навчання для ініціалізації та відновлення з подальшою ітераційною оптимізацією моделювання для досягнення детальної пози ?t. Ми дотримуємося цієї парадигми, але вносимо кілька змін у модель визначення, а саме, використовуючи: (1) більш дискримінаційну цільову функцію; (2) модель гладкої поверхні, яка забезпечує градієнти для нелінійної оптимізації; і (3) спільна оптимізація як положення моделі, так і відповідності між точками спостережуваних даних і поверхнею моделі. Хоча кожна з цих змін може фактично збільшити вартість ітерації, ми знаходимо компенсуюче зменшення кількості ітерацій. Крім того, широкий басейн конвергенції означає, що для успішного встановлення моделі потрібно менше вихідних точок. Наша система працює в режимі реального часу лише на ЦП, що звільняє зазвичай перевантажений графічний процесор для досвідчених дизайнерів. Ручний трекер достатньо ефективний для роботи на малопотужних пристроях, таких як планшети. Ми можемо відстежувати до кількох метрів від камери, щоб забезпечити великий робочий об’єм для взаємодії, навіть використовуючи шумові дані з камер глибини поточного покоління. Кількісні оцінки стандартних наборів даних показують, що новий підхід перевершує сучасний рівень точності. Якісні результати отримують форму живих записів низки інтерактивних вражень, що реалізуються завдяки цьому новому підходу.

Прочитайте більше про це проект тут.