Pesquisadores da Microsoft estão trabalhando em sistemas para rastreamento preciso do movimento da mão

O rastreamento de movimento não é novidade para a Microsoft, vimos sua experiência em produtos comerciais como o Microsoft Kinect. A equipe de visão computacional da Microsoft Research está agora trabalhando nos mais recentes avanços no rastreamento detalhado das mãos. Eles criaram um sistema que pode rastrear mãos de forma suave, rápida e precisa – em tempo real – mas pode ser executado em um gadget comum. Este sistema pode ser usado com aplicativos de Realidade Virtual.

O sistema, ainda um projeto de pesquisa por enquanto, pode rastrear o movimento detalhado da mão com um fone de ouvido de realidade virtual ou sem ele, permitindo ao usuário cutucar um coelho macio e de pelúcia, girar um botão ou mover um mostrador.

Além disso, o sistema permite que você veja o que suas mãos estão fazendo, corrigindo uma desconexão comum e confusa que acontece quando as pessoas estão interagindo com a realidade virtual, mas não podem ver suas próprias mãos.

HoloLens já inclui apoio a gestos que permite aos usuários interagir com hologramas. Esperamos que este novo projeto do MSR melhore ainda mais a experiência de entrada de gestos no HoloLens.

Resumo do projeto:

O rastreamento manual totalmente articulado promete permitir interações fundamentalmente novas com mundos virtuais e aumentados, mas a precisão e a eficiência limitadas dos sistemas atuais impediram a adoção generalizada. O paradigma dominante de hoje usa aprendizado de máquina para inicialização e recuperação seguidos de otimização de ajuste de modelo iterativo para obter uma pose detalhada. Seguimos este paradigma, mas fazemos várias alterações ao model-?tting, nomeadamente usando: (1) uma função objectivo mais discriminativa; (2) um modelo de superfície lisa que fornece gradientes para otimização não linear; e (3) otimização conjunta sobre a pose do modelo e as correspondências entre os pontos de dados observados e a superfície do modelo. Embora cada uma dessas mudanças possa realmente aumentar o custo por iteração de montagem, encontramos uma diminuição compensadora no número de iterações. Além disso, a ampla bacia de convergência significa que menos pontos de partida são necessários para o ajuste bem-sucedido do modelo. Nosso sistema é executado em tempo real apenas na CPU, o que libera a GPU comumente sobrecarregada para designers de experiência. O rastreador manual é eficiente o suficiente para funcionar em dispositivos de baixa potência, como tablets. Podemos rastrear até vários metros da câmera para fornecer um grande volume de trabalho para interação, mesmo usando os dados ruidosos das câmeras de profundidade da geração atual. Avaliações quantitativas em conjuntos de dados padrão mostram que a nova abordagem excede o estado da arte em precisão. Os resultados qualitativos assumem a forma de gravações ao vivo de uma série de experiências interativas possibilitadas por esta nova abordagem.

Leia mais sobre isso projeto aqui.