Pesquisa da Microsoft mostra teclado mecânico com detecção de movimento, detecta gestos de digitação e deslize

A 2dn gen Microsoft Surface Touch Covers já suporta gestos nelas. Mas, você tem que executar os gestos no teclado. Este novo projeto da Microsoft Research permitirá que você execute gestos no teclado sem sequer tocá-los. Essa experiência do usuário é possibilitada pela matriz de baixa resolução de sensores de proximidade infravermelho (IR) entre as teclas do teclado mecânico. Assista ao vídeo de demonstração acima.

Apresentamos um novo tipo de teclado mecânico aumentado, detectando gestos de movimento ricos e expressivos executados no dispositivo e diretamente acima dele. Uma matriz de baixa resolução de sensores de proximidade infravermelho (IR) é intercalada com as teclas de um teclado mecânico comum. Isso resulta em dados de movimento de taxa de quadros grosseiros, mas altos. Estendemos um algoritmo de aprendizado de máquina, tradicionalmente usado apenas para classificação estática, para oferecer suporte robusto a gestos temporais dinâmicos. Propomos o uso de assinaturas de movimento, uma técnica que utiliza pares de imagens de histórico de movimento e um classificador de floresta aleatória para reconhecer de forma robusta um grande conjunto de gestos de movimento. Nossa técnica atinge uma precisão média de classificação por quadro de 75:6% em leave–one–sujeito–out e 89:9% em validação cruzada de meio teste/meio treinamento. Detalhamos o hardware e o algoritmo de reconhecimento de gestos, fornecemos resultados de precisão e demonstramos um grande conjunto de gestos projetados para serem executados com o dispositivo. Concluímos com feedback qualitativo dos usuários, discussão de limitações e áreas para trabalhos futuros.

via: @h0xod