Los investigadores de Microsoft están trabajando en sistemas para el seguimiento preciso del movimiento de la mano

El seguimiento de movimiento no es nada nuevo para Microsoft, hemos visto su experiencia en productos comerciales como Microsoft Kinect. El equipo de visión por computadora de Microsoft Research ahora está trabajando en los últimos avances en el seguimiento detallado de manos. Han creado un sistema que puede rastrear las manos sin problemas, de forma rápida y precisa, en tiempo real, pero que puede ejecutarse en un dispositivo de consumo normal. Este sistema se puede utilizar con aplicaciones de Realidad Virtual.

El sistema, que todavía es un proyecto de investigación por ahora, puede rastrear el movimiento detallado de la mano con un casco de realidad virtual o sin él, lo que permite al usuario tocar un conejito de peluche suave, girar una perilla o mover un dial.

Además, el sistema le permite ver lo que hacen sus manos, corrigiendo una desconexión común y desconcertante que ocurre cuando las personas interactúan con la realidad virtual pero no pueden ver sus propias manos.

HoloLens ya incluye apoyo de gestos que permite a los usuarios interactuar con hologramas. Con suerte, este nuevo proyecto de MSR mejorará aún más la experiencia de entrada de gestos en HoloLens.

Resumen del proyecto:

El seguimiento manual completamente articulado promete permitir interacciones fundamentalmente nuevas con mundos virtuales y aumentados, pero la precisión y eficiencia limitadas de los sistemas actuales han impedido una adopción generalizada. El paradigma dominante de hoy utiliza el aprendizaje automático para la inicialización y la recuperación, seguido de una optimización iterativa de ajuste de modelos para lograr un ajuste de pose detallado. Seguimos este paradigma, pero hacemos varios cambios en el ajuste del modelo, a saber, usando: (1) una función objetivo más discriminatoria; (2) un modelo de superficie suave que proporciona gradientes para la optimización no lineal; y (3) optimización conjunta sobre la pose del modelo y las correspondencias entre los puntos de datos observados y la superficie del modelo. Si bien cada uno de estos cambios puede aumentar el costo por iteración de ajuste, encontramos una disminución compensatoria en el número de iteraciones. Además, la amplia cuenca de convergencia significa que se necesitan menos puntos de partida para el ajuste exitoso del modelo. Nuestro sistema se ejecuta en tiempo real solo en la CPU, lo que libera la GPU comúnmente sobrecargada para los diseñadores de experiencias. El rastreador de manos es lo suficientemente eficiente como para ejecutarse en dispositivos de bajo consumo, como tabletas. Podemos rastrear hasta varios metros de la cámara para proporcionar un gran volumen de trabajo para la interacción, incluso utilizando los datos ruidosos de las cámaras de profundidad de generación actual. Las evaluaciones cuantitativas en conjuntos de datos estándar muestran que el nuevo enfoque supera el estado del arte en precisión. Los resultados cualitativos toman la forma de grabaciones en vivo de una gama de experiencias interactivas habilitadas por este nuevo enfoque.

Lea más sobre esto proyecto aquí.