Microsoft undersøger mulighederne for luftbevægelser omkring moderne smartphones

Microsoft Research afslørede for nylig et nyt projekt, hvor de udvikler et in-air gestusgenkendelsessystem til smartphones. Når du holder din smartphone i den ene hånd, kan du bruge den anden hånd til at lave bevægelser for at interagere med indholdet. Det forstærker den eksisterende touchscreen-mekanisme, som vi er vant til. Det kan anvendes på mange forskellige use cases, herunder spil, kortlægning og mere.

Projekt Beskrivelse:

Vi præsenterer en ny maskinlæringsbaseret algoritme, der udvider interaktionsrummet omkring mobile enheder. Teknikken bruger kun det RGB-kamera, der nu er almindeligt på hylden på mobile enheder. Vores algoritme genkender robust en bred vifte af bevægelser i luften, understøtter brugervariation og varierende lysforhold. Vi demonstrerer, at vores algoritme kører i realtid på umodificerede mobile enheder, herunder ressourcebegrænsede smartphones og smartwatches. Vores mål er ikke at erstatte berøringsskærmen som primær inputenhed, men snarere at udvide og berige det eksisterende interaktionsordforråd ved hjælp af bevægelser. Selvom berøringsinput fungerer godt i mange scenarier, demonstrerer vi adskillige interaktionsopgaver såsom tilstandsskift, applikations- og opgavestyring, menuvalg og visse typer navigation, hvor sådanne input enten kan suppleres eller bedre betjenes af in-air gestus. Dette fjerner skærmejendomsproblemer på små berøringsskærme og gør det muligt at udvide input til 3D-rummet omkring enheden. Vi præsenterer resultater for genkendelsesnøjagtighed (93 % test og 98 % tog), påvirkning af hukommelsesfodaftryk og andre modelparametre. Til sidst rapporterer vi resultater fra foreløbige brugerevalueringer, diskuterer fordele og begrænsninger og afslutter med retninger for det fremtidige arbejde.

Kilde: Microsoft