Microsoft bada możliwości gestów w powietrzu wokół nowoczesnych smartfonów

Microsoft Research ujawnił niedawno nowy projekt, w ramach którego opracowuje system rozpoznawania gestów w powietrzu dla smartfonów. Kiedy trzymasz smartfon w jednej ręce, możesz używać drugiej ręki do wykonywania gestów w celu interakcji z treścią. Wzmacnia istniejący mechanizm ekranu dotykowego, do którego jesteśmy przyzwyczajeni. Może być stosowany w wielu różnych przypadkach użycia, w tym w grach, mapowaniu i nie tylko.

Opis projektu:

Przedstawiamy nowatorski algorytm oparty na uczeniu maszynowym, rozszerzający przestrzeń interakcji wokół urządzeń mobilnych. Technika ta wykorzystuje tylko kamerę RGB, która jest obecnie powszechna w gotowych urządzeniach mobilnych. Nasz algorytm niezawodnie rozpoznaje szeroki zakres gestów w powietrzu, obsługując zróżnicowanie użytkownika i zmieniające się warunki oświetlenia. Pokazujemy, że nasz algorytm działa w czasie rzeczywistym na niezmodyfikowanych urządzeniach mobilnych, w tym na smartfonach i smartwatchach o ograniczonych zasobach. Naszym celem nie jest zastąpienie ekranu dotykowego jako podstawowego urządzenia wejściowego, ale raczej rozszerzenie i wzbogacenie istniejącego słownictwa interakcji za pomocą gestów. Chociaż wprowadzanie dotykowe działa dobrze w wielu scenariuszach, pokazujemy wiele zadań interaktywnych, takich jak przełączniki trybów, zarządzanie aplikacjami i zadaniami, wybór menu i niektóre rodzaje nawigacji, gdzie takie dane wejściowe mogą być uzupełnione lub lepiej obsługiwane przez gesty w powietrzu. Eliminuje to problemy z wyświetlaniem na małych ekranach dotykowych i umożliwia rozszerzenie danych wejściowych do przestrzeni 3D wokół urządzenia. Przedstawiamy wyniki dotyczące dokładności rozpoznawania (93% testu i 98% treningu), wpływu śladu pamięci i innych parametrów modelu. Na koniec przedstawiamy wyniki wstępnych ocen użytkowników, omawiamy zalety i ograniczenia oraz kończymy wskazówkami dotyczącymi przyszłej pracy.

Źródło: Microsoft