Microsoft досліджує можливості використання жестів у повітрі на сучасних смартфонах

Microsoft Research нещодавно представила новий проект, у якому вони розробляють систему розпізнавання жестів у повітрі для смартфонів. Коли ви тримаєте смартфон в одній руці, ви можете використовувати іншу руку, щоб робити жести для взаємодії з вмістом. Він доповнює існуючий сенсорний механізм, до якого ми звикли. Його можна застосувати до багатьох різних варіантів використання, включаючи ігри, картографування тощо.

Опис проекту:

Ми представляємо новий алгоритм на основі машинного навчання, який розширює простір взаємодії навколо мобільних пристроїв. У цій техніці використовується лише RGB-камера, яка зараз поширена на стандартних мобільних пристроях. Наш алгоритм надійно розпізнає широкий діапазон жестів у повітрі, підтримуючи варіації користувача та різні умови освітлення. Ми демонструємо, що наш алгоритм працює в режимі реального часу на немодифікованих мобільних пристроях, включаючи смартфони та розумні годинники з обмеженими ресурсами. Наша мета полягає не в тому, щоб замінити сенсорний екран як основний пристрій введення, а радше розширити та збагатити існуючий словниковий запас взаємодії за допомогою жестів. Хоча сенсорне введення добре працює в багатьох сценаріях, ми демонструємо численні завдання взаємодії, такі як перемикання режимів, керування програмами та завданнями, вибір меню та певні типи навігації, де таке введення можна доповнити або краще обслуговувати жестами в повітрі. Це усуває проблеми з нерухомістю екрана на маленьких сенсорних екранах і дозволяє розширювати введення в 3D-простір навколо пристрою. Ми представляємо результати щодо точності розпізнавання (93% тест і 98% навчання), впливу обсягу пам’яті та інших параметрів моделі. Нарешті, ми звітуємо про результати попередніх оцінок користувачами, обговорюємо переваги та обмеження та завершуємо вказівками для майбутньої роботи.

Джерело: Microsoft