Des chercheurs de Microsoft travaillent sur des systèmes de suivi précis des mouvements de la main

Le suivi de mouvement n'est pas nouveau pour Microsoft, nous avons vu leur expertise dans des produits commerciaux comme Microsoft Kinect. L'équipe de vision par ordinateur de Microsoft Research travaille actuellement sur les dernières avancées en matière de suivi détaillé des mains. Ils ont créé un système qui peut suivre les mains de manière fluide, rapide et précise - en temps réel - mais qui peut fonctionner sur un gadget grand public. Ce système peut être utilisé avec des applications de réalité virtuelle.

Le système, encore un projet de recherche pour l'instant, peut suivre le mouvement détaillé de la main avec ou sans casque de réalité virtuelle, permettant à l'utilisateur de pousser un lapin doux et en peluche, de tourner un bouton ou de déplacer un cadran.

De plus, le système vous permet de voir ce que font vos mains, corrigeant une déconnexion commune et déroutante qui se produit lorsque les gens interagissent avec la réalité virtuelle mais ne peuvent pas voir leurs propres mains.

HoloLens comprend déjà support gestuel qui permet aux utilisateurs d'interagir avec les hologrammes. Espérons que ce nouveau projet de MSR améliorera encore l'expérience de saisie gestuelle dans HoloLens.

Résumé du projet :

Le suivi manuel entièrement articulé promet de permettre des interactions fondamentalement nouvelles avec les mondes virtuels et augmentés, mais la précision et l'efficacité limitées des systèmes actuels ont empêché une adoption généralisée. Le paradigme dominant d'aujourd'hui utilise l'apprentissage automatique pour l'initialisation et la récupération, suivi d'une optimisation itérative de l'ajustement du modèle pour obtenir une pose détaillée. Nous suivons ce paradigme, mais apportons plusieurs modifications à l'ajustement du modèle, à savoir en utilisant : (1) une fonction objectif plus discriminante ; (2) un modèle de surface lisse qui fournit des gradients pour une optimisation non linéaire ; et (3) optimisation conjointe sur la pose du modèle et les correspondances entre les points de données observés et la surface du modèle. Alors que chacun de ces changements peut en fait augmenter le coût par itération de montage, nous trouvons une diminution compensatoire du nombre d'itérations. De plus, le large bassin de convergence signifie que moins de points de départ sont nécessaires pour un ajustement réussi du modèle. Notre système fonctionne en temps réel sur le processeur uniquement, ce qui libère le processeur graphique généralement surchargé pour les concepteurs d'expérience. Le suivi de la main est suffisamment efficace pour fonctionner sur des appareils à faible consommation d'énergie tels que des tablettes. Nous pouvons suivre jusqu'à plusieurs mètres de la caméra pour fournir un grand volume de travail pour l'interaction, même en utilisant les données bruyantes des caméras de profondeur de la génération actuelle. Des évaluations quantitatives sur des ensembles de données standard montrent que la nouvelle approche dépasse l'état de l'art en termes de précision. Les résultats qualitatifs prennent la forme d'enregistrements en direct d'une gamme d'expériences interactives rendues possibles par cette nouvelle approche.

En savoir plus à ce sujet projet ici.