Microsoft исследует возможности жестов в воздухе вокруг современных смартфонов

Microsoft Research недавно представила новый проект, в рамках которого они разрабатывают систему распознавания жестов в воздухе для смартфонов. Когда вы держите смартфон в одной руке, вы можете использовать другую руку, чтобы делать жесты для взаимодействия с контентом. Он дополняет существующий механизм сенсорного экрана, к которому мы привыкли. Его можно применять во множестве различных вариантов использования, включая игры, картографию и многое другое.

Описание проекта:

Мы представляем новый алгоритм на основе машинного обучения, расширяющий пространство взаимодействия с мобильными устройствами. В этом методе используется только камера RGB, которая сейчас широко распространена на стандартных мобильных устройствах. Наш алгоритм надежно распознает широкий спектр жестов в воздухе, поддерживая вариации пользователей и различные условия освещения. Мы демонстрируем, что наш алгоритм работает в режиме реального времени на немодифицированных мобильных устройствах, включая смартфоны и умные часы с ограниченными ресурсами. Наша цель — не заменить сенсорный экран в качестве основного устройства ввода, а расширить и обогатить существующий словарь взаимодействия с помощью жестов. Хотя сенсорный ввод хорошо работает во многих сценариях, мы демонстрируем многочисленные интерактивные задачи, такие как переключение режимов, управление приложениями и задачами, выбор меню и определенные типы навигации, где такой ввод может быть дополнен или лучше обслуживаться жестами в воздухе. Это устраняет проблемы с площадью экрана на небольших сенсорных экранах и позволяет расширять ввод в трехмерное пространство вокруг устройства. Мы представляем результаты по точности распознавания (тест 3% и поезд 93%), влиянию объема памяти и другим параметрам модели. Наконец, мы сообщаем о результатах предварительных оценок пользователей, обсуждаем преимущества и ограничения и в заключении даем указания для будущей работы.

Источник: Microsoft