Microsoft undersöker möjligheterna med luftgester runt moderna smartphones

Microsoft Research avslöjade nyligen ett nytt projekt där de utvecklar ett system för gestigenkänning i luften för smartphones. När du håller din smartphone i ena handen kan du använda den andra handen för att göra gester för att interagera med innehållet. Det förstärker den befintliga pekskärmsmekanismen som vi är vana vid. Det kan appliceras på många olika användningsfall inklusive spel, kartläggning och mer.

Projektbeskrivning:

Vi presenterar en ny maskininlärningsbaserad algoritm som utökar interaktionsutrymmet kring mobila enheter. Tekniken använder bara den RGB-kamera som numera är vanlig på vanliga mobila enheter. Vår algoritm känner robust igen ett brett utbud av gester i luften, stödjer användarvariationer och varierande ljusförhållanden. Vi visar att vår algoritm körs i realtid på omodifierade mobila enheter, inklusive resursbegränsade smartphones och smartklockor. Vårt mål är inte att ersätta pekskärmen som primär inmatningsenhet, utan snarare att utöka och berika det befintliga interaktionsordförrådet med hjälp av gester. Även om touch-inmatning fungerar bra för många scenarier, visar vi många interaktionsuppgifter som lägesomkopplare, applikations- och uppgiftshantering, menyval och vissa typer av navigering, där sådan inmatning antingen kan kompletteras eller bättre betjänas av gester i luften. Detta tar bort skärmfastighetsproblem på små pekskärmar och gör att indata kan utökas till 3D-utrymmet runt enheten. Vi presenterar resultat för igenkänningsnoggrannhet (93 % test och 98 % tåg), påverkan av minnesfotavtryck och andra modellparametrar. Slutligen rapporterar vi resultat från preliminära användarutvärderingar, diskuterar fördelar och begränsningar och avslutar med anvisningar för framtida arbete.

Källa: Microsoft