Microsoft Research montre comment la reconnaissance gestuelle peut être utilisée dans les applications quotidiennes

Microsoft Research Laboratoire de technologies avancées en Israël travaille sur un projet de recherche nommé Project Prague qui permettra aux développeurs d'applications d'inclure une prise en charge de base des gestes de la main dans leurs applications sans trop de travail. Ils peuvent également créer des gestes personnalisés pour leurs propres applications ou d'autres produits, avec très peu de programmation ou d'expertise supplémentaire.

Disons que vous parlez à un collègue sur Skype et que vous êtes prêt à mettre fin à l'appel. Et si, au lieu d'utiliser votre souris ou votre clavier pour cliquer sur un bouton, vous pouviez simplement faire le mouvement de raccrocher le téléphone ?

Besoin de verrouiller l'écran de votre ordinateur rapidement ? Et si, au lieu de vous précipiter pour fermer les fenêtres et appuyer sur les raccourcis clavier, vous tendiez simplement la main et imitiez le geste de tourner une clé dans une serrure ?

Le projet Prague utilise l'apprentissage automatique pour entraîner les systèmes à reconnaître les mouvements, s'exécute à l'aide d'une caméra 3D vendue au détail. MSR a enregistré des millions d'images de la main, puis a utilisé cet ensemble de données pour entraîner la technologie à reconnaître toutes les poses et tous les mouvements possibles de la main.

Eyal Krupka, chercheur appliqué principal et responsable de la recherche sur la vision par ordinateur et l'apprentissage automatique du laboratoire, a déclaré que la technologie utilise ensuite des centaines de micro-unités d'intelligence artificielle, chacune analysant un seul aspect de la main de l'utilisateur, pour interpréter avec précision chaque geste.

Le résultat final est un système qui ne se contente pas de reconnaître la main d'une personne, mais comprend également l'intention de cette personne.

En lire plus à propos de ce projet ici.