Microsoft explora las posibilidades de los gestos en el aire en los teléfonos inteligentes modernos

Microsoft Research reveló recientemente un nuevo proyecto en el que están desarrollando un sistema de reconocimiento de gestos en el aire para teléfonos inteligentes. Cuando sostiene su teléfono inteligente en una mano, puede usar la otra mano para hacer gestos para interactuar con el contenido. Aumenta el mecanismo de pantalla táctil existente al que estamos acostumbrados. Se puede aplicar a muchos casos de uso diferentes, incluidos juegos, mapas y más.

Descripción del Proyecto:

Presentamos un novedoso algoritmo basado en aprendizaje automático que amplía el espacio de interacción alrededor de los dispositivos móviles. La técnica utiliza solo la cámara RGB que ahora es un lugar común en los dispositivos móviles disponibles en el mercado. Nuestro algoritmo reconoce sólidamente una amplia gama de gestos en el aire, lo que admite la variación del usuario y las diferentes condiciones de iluminación. Demostramos que nuestro algoritmo se ejecuta en tiempo real en dispositivos móviles no modificados, incluidos teléfonos inteligentes y relojes inteligentes con recursos limitados. Nuestro objetivo no es reemplazar la pantalla táctil como dispositivo de entrada principal, sino aumentar y enriquecer el vocabulario de interacción existente mediante gestos. Si bien la entrada táctil funciona bien para muchos escenarios, demostramos numerosas tareas de interacción, como cambios de modo, administración de aplicaciones y tareas, selección de menú y ciertos tipos de navegación, donde dicha entrada puede complementarse o servirse mejor con gestos en el aire. Esto elimina los problemas de espacio en pantalla en las pantallas táctiles pequeñas y permite que la entrada se amplíe al espacio 3D alrededor del dispositivo. Presentamos los resultados de la precisión del reconocimiento (93 % de prueba y 98 % de entrenamiento), el impacto de la huella de memoria y otros parámetros del modelo. Finalmente, informamos los resultados de las evaluaciones preliminares de los usuarios, discutimos las ventajas y limitaciones y concluimos con direcciones para el trabajo futuro.

Fuente: Microsoft