Microsoft zkoumá možnosti gest ve vzduchu u moderních smartphonů

Microsoft Research nedávno odhalil nový projekt, ve kterém vyvíjí systém rozpoznávání gest ve vzduchu pro chytré telefony. Když držíte smartphone v jedné ruce, můžete druhou rukou provádět gesta pro interakci s obsahem. Rozšiřuje stávající mechanismus dotykové obrazovky, na který jsme zvyklí. Lze jej použít na mnoho různých případů použití včetně hraní her, mapování a dalších.

Popis projektu:

Představujeme nový algoritmus založený na strojovém učení, který rozšiřuje interakční prostor kolem mobilních zařízení. Tato technika využívá pouze RGB kameru, která je nyní běžná na běžně dostupných mobilních zařízeních. Náš algoritmus robustně rozpoznává širokou škálu gest ve vzduchu, podporuje uživatelské variace a měnící se světelné podmínky. Ukazujeme, že náš algoritmus běží v reálném čase na neupravených mobilních zařízeních, včetně smartphonů a chytrých hodinek s omezenými zdroji. Naším cílem není nahradit dotykovou obrazovku jako primární vstupní zařízení, ale spíše rozšířit a obohatit stávající interaktivní slovník pomocí gest. Zatímco dotykový vstup funguje dobře pro mnoho scénářů, předvádíme četné interakční úkoly, jako je přepínání režimů, správa aplikací a úkolů, výběr nabídek a určité typy navigace, kde lze tento vstup buď doplnit nebo lépe obsloužit gesty ve vzduchu. To odstraňuje problémy s realitou na malých dotykových obrazovkách a umožňuje rozšíření vstupu do 3D prostoru kolem zařízení. Prezentujeme výsledky pro přesnost rozpoznávání (93% test a 98% vlak), dopad paměťové stopy a další parametry modelu. Nakonec uvádíme výsledky předběžných uživatelských hodnocení, diskutujeme o výhodách a omezeních a uzavíráme pokyny pro budoucí práci.

Zdroj: Microsoft