A Microsoft feltárja a levegőben történő gesztusok lehetőségeit a modern okostelefonok körül

A Microsoft Research a közelmúltban bemutatott egy új projektet, amelynek keretében okostelefonokhoz fejlesztenek egy in-air gesztusfelismerő rendszert. Ha egyik kezében tartja okostelefonját, a másik kezével gesztusokat végezhet a tartalommal való interakcióhoz. Kibővíti a meglévő érintőképernyő-mechanizmust, amit megszoktunk. Számos különböző felhasználási területen alkalmazható, beleértve a játékot, a térképezést és egyebeket.

A projekt leírása:

Bemutatunk egy új, gépi tanuláson alapuló algoritmust, amely kiterjeszti a mobileszközök körüli interakciós teret. A technika csak az RGB-kamerát használja, amely ma már általános a kész mobileszközökön. Algoritmusunk robusztusan felismeri a levegőben lévő gesztusok széles skáláját, támogatja a felhasználói variációt és a változó fényviszonyokat. Bemutatjuk, hogy algoritmusunk valós időben fut módosítatlan mobileszközökön, beleértve az erőforrás-korlátozott okostelefonokat és okosórákat. Célunk nem az érintőképernyő, mint elsődleges beviteli eszköz leváltása, hanem a meglévő interakciós szókincs gesztusokkal történő bővítése és gazdagítása. Míg az érintéses bevitel számos forgatókönyv esetén jól működik, számos interakciós feladatot mutatunk be, például módkapcsolókat, alkalmazás- és feladatkezelést, menüválasztást és bizonyos típusú navigációt, ahol az ilyen bevitelt a levegőben lévő gesztusok kiegészíthetik vagy jobban kiszolgálhatják. Ez eltávolítja a képernyővel kapcsolatos problémákat a kis érintőképernyőkön, és lehetővé teszi a bevitel kiterjesztését az eszköz körüli 3D-s térre. Eredményeket mutatunk be a felismerés pontosságára (93% teszt és 98% betanítás), a memória lábnyomának hatására és egyéb modellparaméterekre vonatkozóan. Végül beszámolunk az előzetes felhasználói értékelések eredményeiről, megvitatjuk az előnyöket és a korlátokat, és befejezzük a jövőbeli munka útmutatásait.

Forrás: Microsoft