Microsoft istražuje mogućnosti gesta u zraku oko modernih pametnih telefona

Microsoft Research nedavno je otkrio novi projekt u kojem razvijaju sustav za prepoznavanje pokreta u zraku za pametne telefone. Kada držite pametni telefon u jednoj ruci, drugom rukom možete gestikulirati za interakciju sa sadržajem. Proširuje postojeći mehanizam zaslona osjetljivog na dodir na koji smo navikli. Može se primijeniti na mnogo različitih slučajeva upotrebe, uključujući igranje, mapiranje i više.

Opis projekta:

Predstavljamo novi algoritam temeljen na strojnom učenju koji proširuje prostor interakcije oko mobilnih uređaja. Tehnika koristi samo RGB kameru koja je sada uobičajena na standardnim mobilnim uređajima. Naš algoritam robusno prepoznaje širok raspon gesti u zraku, podržava varijacije korisnika i različite uvjete osvjetljenja. Pokazujemo da naš algoritam radi u stvarnom vremenu na nemodificiranim mobilnim uređajima, uključujući pametne telefone i pametne satove s ograničenim resursima. Naš cilj nije zamijeniti zaslon osjetljiv na dodir kao primarni uređaj za unos, već povećati i obogatiti postojeći rječnik interakcije pomoću gesti. Dok unos dodirom dobro funkcionira u mnogim scenarijima, demonstriramo brojne zadatke interakcije kao što su prekidači načina rada, upravljanje aplikacijama i zadacima, odabir izbornika i određene vrste navigacije, gdje se takav unos može nadopuniti ili bolje poslužiti gestama u zraku. Ovo uklanja probleme sa zaslonom na malim zaslonima osjetljivim na dodir i omogućuje proširenje unosa na 3D prostor oko uređaja. Predstavljamo rezultate za točnost prepoznavanja (93% test i 98% trening), utjecaj memorijskog otiska i druge parametre modela. Na kraju, izvještavamo o rezultatima preliminarnih korisničkih procjena, raspravljamo o prednostima i ograničenjima i zaključujemo smjernicama za budući rad.

Izvor: Microsoft