Google está trabalhando em rastreamento de mão barato baseado em IA para o Google Glass

O rastreamento manual é útil em aplicativos de realidade aumentada, pois fornece uma interface de usuário natural fácil de usar para interagir com informações digitais, mas normalmente requer sensores de profundidade especiais e outras tecnologias caras e intensivas em processamento.

A visão do Google de realidade aumentada, que usa fones de ouvido leves como óculos, em vez do HoloLens, tipo capacete, não pode acomodar esses sensores, e hoje relatamos uma nova abordagem para rastreamento manual que usa apenas a câmera frontal e a IA integrada baseado em processamento para fazer um rastreamento de mão notavelmente preciso.

A principal inovação da tecnologia é usar um algoritmo convencional para detectar a palma da mão e, em seguida, usar um modelo baseado em IA para prever a posição dos dedos.

A equipe está lançando o código como uma estrutura multiplataforma chamada MediaPiPe.

“Esperamos que fornecer essa funcionalidade de percepção da mão para a comunidade mais ampla de pesquisa e desenvolvimento resulte no surgimento de casos de uso criativos, estimulando novos aplicativos e novos caminhos de pesquisa”, escreveu a equipe em um post no blog.

O MediaPipe pode mapear até 21 pontos na mão e dedos com até 96% de precisão e fazer tudo em um dispositivo móvel (ou seja, não na nuvem), abrindo a possibilidade de usar a tecnologia em outros aplicativos, como o controle de aplicativos em seu smartphone.

Imaginamos que o Google também possa empregá-lo em seus dispositivos exclusivos, com o Pixel 4 já incluindo o sensor de radar Soli para controle de gestos.

Idealmente, no entanto, o desenvolvimento tornaria fácil e barato criar experiências ricas em RA e, esperançosamente, permitir a criação de óculos RA baratos, mas poderosos.

Leia todos os detalhes no Google aqui.

Através da Próxima realidade