Microsoft explore les possibilités de gestes en l'air autour des smartphones modernes

Microsoft Research a récemment révélé un nouveau projet dans lequel ils développent un système de reconnaissance de gestes dans l'air pour les smartphones. Lorsque vous tenez votre smartphone dans une main, vous pouvez utiliser l'autre main pour faire des gestes pour interagir avec le contenu. Il augmente le mécanisme d'écran tactile existant auquel nous sommes habitués. Il peut être appliqué à de nombreux cas d'utilisation différents, y compris les jeux, la cartographie et plus encore.

Description du projet:

Nous présentons un nouvel algorithme basé sur l'apprentissage automatique étendant l'espace d'interaction autour des appareils mobiles. La technique utilise uniquement la caméra RVB désormais courante sur les appareils mobiles prêts à l'emploi. Notre algorithme reconnaît de manière robuste un large éventail de gestes dans l'air, prenant en charge les variations de l'utilisateur et les conditions d'éclairage variables. Nous démontrons que notre algorithme s'exécute en temps réel sur des appareils mobiles non modifiés, y compris des smartphones et des montres connectées à ressources limitées. Notre objectif n'est pas de remplacer l'écran tactile comme périphérique de saisie principal, mais plutôt d'augmenter et d'enrichir le vocabulaire d'interaction existant à l'aide de gestes. Bien que la saisie tactile fonctionne bien pour de nombreux scénarios, nous démontrons de nombreuses tâches d'interaction telles que les changements de mode, la gestion des applications et des tâches, la sélection de menus et certains types de navigation, où une telle saisie peut être complétée ou mieux servie par des gestes en l'air. Cela supprime les problèmes d'espace d'écran sur les petits écrans tactiles et permet d'étendre l'entrée à l'espace 3D autour de l'appareil. Nous présentons les résultats pour la précision de la reconnaissance (93 % de test et 98 % de train), l'impact de l'empreinte mémoire et d'autres paramètres du modèle. Enfin, nous rapportons les résultats des évaluations préliminaires des utilisateurs, discutons des avantages et des limites et concluons avec des orientations pour les travaux futurs.

Source: Microsoft