Microsoft raziskuje možnosti gibov v zraku pri sodobnih pametnih telefonih

Microsoft Research je nedavno razkril nov projekt, v katerem razvijajo sistem za prepoznavanje kretenj v zraku za pametne telefone. Ko držite pametni telefon v eni roki, lahko z drugo roko izvajate poteze za interakcijo z vsebino. Izboljša obstoječi mehanizem zaslona na dotik, ki smo ga vajeni. Uporablja se lahko za veliko različnih primerov uporabe, vključno z igranjem iger, kartiranjem in drugim.

Opis projekta:

Predstavljamo nov algoritem, ki temelji na strojnem učenju in razširja interakcijski prostor okoli mobilnih naprav. Tehnika uporablja samo kamero RGB, ki je zdaj običajna na standardnih mobilnih napravah. Naš algoritem robustno prepozna široko paleto potez v zraku, podpira različne uporabnike in različne svetlobne pogoje. Dokazujemo, da naš algoritem deluje v realnem času na nespremenjenih mobilnih napravah, vključno s pametnimi telefoni in pametnimi urami z omejenimi viri. Naš cilj ni zamenjati zaslon na dotik kot primarno vnosno napravo, temveč povečati in obogatiti obstoječi interakcijski besednjak z gestami. Medtem ko vnos z dotikom dobro deluje v številnih scenarijih, prikazujemo številna opravila interakcije, kot so preklopi med načini, upravljanje aplikacij in opravil, izbira menija in nekatere vrste navigacije, pri čemer je mogoče tak vnos bodisi dopolniti ali bolje uporabiti s kretnjami v zraku. To odpravlja težave z nepremičninami zaslona na majhnih zaslonih na dotik in omogoča razširitev vnosa na 3D prostor okoli naprave. Predstavljamo rezultate za natančnost prepoznavanja (93 % test in 98 % trening), vpliv pomnilniškega odtisa in druge parametre modela. Na koncu poročamo o rezultatih predhodnih ocen uporabnikov, razpravljamo o prednostih in omejitvah ter zaključimo z navodili za prihodnje delo.

Vir: Microsoft