Microsoft explora as possibilidades de gestos no ar em torno de smartphones modernos

A Microsoft Research revelou recentemente um novo projeto no qual eles estão desenvolvendo um sistema de reconhecimento de gestos no ar para smartphones. Ao segurar o smartphone em uma mão, você pode usar a outra para fazer gestos para interagir com o conteúdo. Ele aumenta o mecanismo de tela sensível ao toque existente ao qual estamos acostumados. Ele pode ser aplicado a muitos casos de uso diferentes, incluindo jogos, mapeamento e muito mais.

Descrição do projeto:

Apresentamos um novo algoritmo baseado em aprendizado de máquina que estende o espaço de interação em torno de dispositivos móveis. A técnica usa apenas a câmera RGB agora comum em dispositivos móveis de prateleira. Nosso algoritmo reconhece de forma robusta uma ampla variedade de gestos no ar, suportando variação do usuário e condições de iluminação variadas. Demonstramos que nosso algoritmo é executado em tempo real em dispositivos móveis não modificados, incluindo smartphones e smartwatches com recursos limitados. Nosso objetivo não é substituir a tela sensível ao toque como principal dispositivo de entrada, mas sim aumentar e enriquecer o vocabulário de interação existente usando gestos. Embora a entrada de toque funcione bem para muitos cenários, demonstramos várias tarefas de interação, como interruptores de modo, gerenciamento de aplicativos e tarefas, seleção de menu e certos tipos de navegação, onde essa entrada pode ser complementada ou melhor atendida por gestos no ar. Isso remove problemas de propriedade de tela em pequenas telas sensíveis ao toque e permite que a entrada seja expandida para o espaço 3D ao redor do dispositivo. Apresentamos resultados para precisão de reconhecimento (93% de teste e 98% de treinamento), impacto da pegada de memória e outros parâmetros do modelo. Por fim, relatamos resultados de avaliações preliminares de usuários, discutimos vantagens e limitações e concluímos com orientações para trabalhos futuros.

Fonte: Microsoft