Microsoft onderzoekt de mogelijkheden van bewegingen in de lucht rond moderne smartphones

Microsoft Research heeft onlangs een nieuw project onthuld waarin ze een in-air gebarenherkenningssysteem voor smartphones ontwikkelen. Wanneer u uw smartphone in de ene hand houdt, kunt u de andere hand gebruiken om gebaren te maken om met de inhoud te communiceren. Het vergroot het bestaande touchscreen-mechanisme dat we gewend zijn. Het kan worden toegepast op veel verschillende gebruiksscenario's, waaronder gaming, kaarten en meer.

Projectbeschrijving:

We presenteren een nieuw op machine learning gebaseerd algoritme dat de interactieruimte rond mobiele apparaten uitbreidt. De techniek maakt alleen gebruik van de RGB-camera die nu gemeengoed is op kant-en-klare mobiele apparaten. Ons algoritme herkent robuust een breed scala aan gebaren in de lucht en ondersteunt gebruikersvariatie en wisselende lichtomstandigheden. We laten zien dat ons algoritme in realtime wordt uitgevoerd op ongewijzigde mobiele apparaten, waaronder smartphones en smartwatches met beperkte middelen. Ons doel is niet om het touchscreen als primair invoerapparaat te vervangen, maar om het bestaande interactievocabulaire met gebaren uit te breiden en te verrijken. Hoewel aanraakinvoer goed werkt voor veel scenario's, demonstreren we talloze interactietaken, zoals modusschakelaars, applicatie- en taakbeheer, menuselectie en bepaalde soorten navigatie, waarbij dergelijke invoer kan worden aangevuld of beter kan worden bediend door gebaren in de lucht. Hierdoor worden problemen met schermvastgoed op kleine touchscreens weggenomen en kan de invoer worden uitgebreid naar de 3D-ruimte rond het apparaat. We presenteren resultaten voor herkenningsnauwkeurigheid (93% test en 98% trein), impact van geheugenvoetafdruk en andere modelparameters. Ten slotte rapporteren we de resultaten van voorlopige gebruikersevaluaties, bespreken we voordelen en beperkingen en sluiten we af met aanwijzingen voor toekomstig werk.

Bron: Microsoft