Microsoft skúma možnosti gest vo vzduchu okolo moderných smartfónov

Microsoft Research nedávno odhalil nový projekt, v rámci ktorého vyvíjajú systém rozpoznávania gest vo vzduchu pre smartfóny. Keď držíte smartfón v jednej ruke, druhou rukou môžete robiť gestá na interakciu s obsahom. Rozširuje existujúci mechanizmus dotykovej obrazovky, na ktorý sme zvyknutí. Dá sa použiť na množstvo rôznych prípadov použitia vrátane hier, mapovania a ďalších.

Popis projektu:

Predstavujeme nový algoritmus založený na strojovom učení, ktorý rozširuje interakčný priestor okolo mobilných zariadení. Táto technika využíva iba RGB kameru, ktorá je teraz bežná na bežných mobilných zariadeniach. Náš algoritmus robustne rozpoznáva širokú škálu gest vo vzduchu, podporuje variácie používateľov a meniace sa svetelné podmienky. Ukazujeme, že náš algoritmus beží v reálnom čase na neupravených mobilných zariadeniach, vrátane smartfónov a inteligentných hodiniek s obmedzenými zdrojmi. Naším cieľom nie je nahradiť dotykovú obrazovku ako primárne vstupné zariadenie, ale skôr rozšíriť a obohatiť existujúcu interakčnú slovnú zásobu pomocou gest. Zatiaľ čo dotykový vstup funguje dobre pre mnohé scenáre, demonštrujeme množstvo interakčných úloh, ako sú prepínanie režimov, správa aplikácií a úloh, výber ponuky a určité typy navigácie, pričom takýto vstup môže byť doplnený alebo lepšie vybavený gestami vo vzduchu. To odstraňuje problémy s nehnuteľnosťami na malých dotykových obrazovkách a umožňuje rozšírenie vstupu do 3D priestoru okolo zariadenia. Uvádzame výsledky pre presnosť rozpoznávania (93% test a 98% vlak), vplyv pamäťovej stopy a ďalšie parametre modelu. Nakoniec uvádzame výsledky predbežných hodnotení používateľov, diskutujeme o výhodách a obmedzeniach a uzatvárame pokyny pre budúcu prácu.

Zdroj: Microsoft