Microsoft tutkii ilmassa olevien eleiden mahdollisuuksia nykyaikaisten älypuhelimien ympärillä

Microsoft Research paljasti äskettäin uuden projektin, jossa he kehittävät älypuhelimille ilmassa olevaa eleiden tunnistusjärjestelmää. Kun pidät älypuhelinta toisessa kädessä, voit toisella kädellä tehdä eleitä vuorovaikutuksessa sisällön kanssa. Se täydentää olemassa olevaa kosketusnäyttömekanismia, johon olemme tottuneet. Sitä voidaan soveltaa moniin erilaisiin käyttötapauksiin, mukaan lukien pelaaminen, kartoitus ja paljon muuta.

Hankkeen kuvaus:

Esittelemme uuden koneoppimiseen perustuvan algoritmin, joka laajentaa vuorovaikutustilaa mobiililaitteiden ympärillä. Tekniikka käyttää vain RGB-kameraa, joka on nykyään yleistä valmiissa mobiililaitteissa. Algoritmimme tunnistaa vahvasti laajan valikoiman ilmassa olevia eleitä, jotka tukevat käyttäjän vaihtelua ja vaihtelevat valaistusolosuhteet. Osoitamme, että algoritmimme toimii reaaliajassa muokkaamattomissa mobiililaitteissa, mukaan lukien resurssirajoitteiset älypuhelimet ja älykellot. Tavoitteenamme ei ole korvata kosketusnäyttöä ensisijaisena syöttölaitteena, vaan pikemminkin täydentää ja rikastuttaa olemassa olevaa vuorovaikutussanastoa eleiden avulla. Vaikka kosketussyöttö toimii hyvin monissa skenaarioissa, esittelemme lukuisia vuorovaikutustehtäviä, kuten tilakytkimiä, sovellusten ja tehtävien hallintaa, valikoiden valintaa ja tietyntyyppisiä navigointitoimintoja, joissa tällaista syöttöä voidaan joko täydentää tai palvella paremmin ilmassa olevilla eleillä. Tämä poistaa näytön kiinteistöongelmat pieniltä kosketusnäytöiltä ja mahdollistaa syötteen laajentamisen laitteen ympärillä olevaan 3D-tilaan. Esitämme tulokset tunnistustarkkuudesta (93 % testi ja 98 % harjoitus), muistin jalanjäljen vaikutuksesta ja muista mallin parametreista. Lopuksi raportoimme alustavien käyttäjäarviointien tulokset, keskustelemme eduista ja rajoituksista ja päätämme ohjeisiin tulevaa työtä varten.

Lähde: Microsoft