Microsoft utforsker mulighetene for luftbevegelser rundt moderne smarttelefoner

Microsoft Research avslørte nylig et nytt prosjekt der de utvikler et system for bevegelsesgjenkjenning i luften for smarttelefoner. Når du holder smarttelefonen i den ene hånden, kan du bruke den andre hånden til å gjøre bevegelser for å samhandle med innholdet. Det forsterker den eksisterende berøringsskjermmekanismen som vi er vant til. Det kan brukes på mange forskjellige brukstilfeller, inkludert spill, kartlegging og mer.

Prosjektbeskrivelse:

Vi presenterer en ny maskinlæringsbasert algoritme som utvider interaksjonsrommet rundt mobile enheter. Teknikken bruker bare RGB-kameraet som nå er vanlig på hyllevare mobile enheter. Algoritmen vår gjenkjenner robust et bredt spekter av luftbevegelser, støtter brukervariasjon og varierende lysforhold. Vi demonstrerer at algoritmen vår kjører i sanntid på umodifiserte mobile enheter, inkludert ressursbegrensede smarttelefoner og smartklokker. Målet vårt er ikke å erstatte berøringsskjermen som primær inndataenhet, men heller å utvide og berike det eksisterende interaksjonsvokabularet ved hjelp av bevegelser. Selv om berøringsinndata fungerer bra for mange scenarier, demonstrerer vi en rekke interaksjonsoppgaver som modusbrytere, applikasjons- og oppgaveadministrasjon, menyvalg og visse typer navigasjon, der slike input enten kan komplementeres eller bedre betjenes av luftbevegelser. Dette fjerner eiendomsproblemer med skjermer på små berøringsskjermer, og lar inndata utvides til 3D-rommet rundt enheten. Vi presenterer resultater for gjenkjenningsnøyaktighet (93 % test og 98 % tog), påvirkning av minnefotavtrykk og andre modellparametere. Til slutt rapporterer vi resultater fra foreløpige brukerevalueringer, diskuterer fordeler og begrensninger og konkluderer med retninger for fremtidig arbeid.

Kilde: Microsoft