Uma olhada nos desafios na criação da próxima geração do Kinect para o Xbox One

Eu acho que o Playstation vai se arrepender seriamente de não agrupar sua versão do Kinect com o PS4. Talvez eles soubessem que não seria tão bom quanto o Kinect 2.0 de qualquer maneira.

Cyrus Bamji, arquiteto de hardware parceiro da Microsoft para o grupo de arquitetura e gerenciamento de silício da Microsoft, baseado no Vale do Silício, e membros de sua equipe estavam tentando incorporar uma câmera de tempo de voo no Xbox One. 

Uma câmera de tempo de voo emite sinais de luz e mede quanto tempo eles levam para retornar. Isso precisa ser preciso para 1/10,000,000,000 de segundo; A velocidade da luz. Com essas medições, a câmera é capaz de diferenciar a luz refletida de objetos em uma sala e do ambiente ao redor. Isso fornece uma estimativa de profundidade precisa que permite que a forma desses objetos seja calculada.

Essa capacidade de velocidade da luz seria um grande avanço para a parte do sensor Kinect do Xbox One, sendo lançado em 13 mercados de lançamento no próximo mês. O novo Kinect, um diferencial importante do Xbox One em relação à concorrência, precisava capturar um campo de visão maior com maior precisão e resolução mais alta. Um sensor infravermelho permitirá a identificação de objetos que requerem pouca ou nenhuma luz e um melhor reconhecimento de pose de mão, dando aos jogadores e usuários mais casuais a capacidade de controlar o console com as mãos.

“Quando pegamos uma tecnologia relativamente nova, como o time-of-flight, e a colocamos em um produto comercial, há um monte de coisas que acontecem”, diz ele. “Há coisas que não sabíamos quão importantes eram até o produto ser feito. Por exemplo, sabemos teoricamente que o desfoque de movimento no tempo de voo é um grande problema, mas o quão importante só é descoberto quando você está construindo um produto com ele e esse produto precisa oferecer uma excelente experiência.”

A medição precisa de profundidade em diversas cenas com a alta resolução da nova câmera e um campo de visão mais amplo também apresentam problemas de experiência do usuário, dificultando a proteção de objetos pequenos, como um dedo, no fundo, por exemplo. Embora esses recursos oferecessem um desempenho de dispositivo mais versátil, eles também criaram problemas próprios em cenários da vida real, como a necessidade de medição de profundidade precisa em diversas cenas de alta resolução. Isso, além de melhorar o campo de visão mais amplo e o desfoque de movimento, exigia dados limpos – rapidamente. O Xbox One tinha que estar pronto para a temporada de férias de 2013.

A natureza analógica dos dados de tempo de voo apresentou desafios para a entrega de tal solução.

“Os dados de tempo de voo que saem do nosso sensor são por pixel, por quadro, e há muito mais informações analógicas”, diz Acharya. “Outro problema era que os objetos em primeiro plano próximos aos objetos de fundo se derreteriam no fundo – novamente, devido à natureza analógica de como nosso sensor fornece os dados de profundidade para pixels que pousam nas bordas.”

“Isso resultou em muitas informações e, para facilitar a extração de primeiro plano/fundo e segmentação de cena, uso por desenvolvedores de software e jogos, o requisito era limpar esses dados simultaneamente adicionando algoritmos de software no pipe, mas sem incorrer em um golpe de desempenho. Isso foi crucial. Começamos com vários fluxos de trabalho e, no final, decidimos fazer a otimização dos parâmetros do sistema para superar o problema.”

Os colaboradores queriam entregar uma separação clara de primeiro plano e plano de fundo, mesmo que os objetos estivessem próximos um do outro. Isso também se mostrou difícil. E então houve o borrão de movimento.

 “O desfoque de movimento”, explica Acharya, “é um parâmetro que precisa ser minimizado e não é específico da tecnologia. A câmera de tempo de voo usa obturador global, o que ajudou a reduzir significativamente o desfoque de movimento – de 65 milissegundos no Kinect original para menos de 14 milissegundos agora.”

Outros desafios se apresentaram. Por um lado, o tempo de processamento tornou-se um problema. Na literatura acadêmica sobre sistemas de tempo de voo, o tempo de processamento não era um problema. No ambiente de laboratório, a tecnologia funcionou bem. Mas o Xbox One precisa processar 6.5 milhões de pixels por segundo. E apenas uma pequena parte do poder de computação do Xbox One poderia ser aproveitada para essa tarefa. A parte do leão é reservada, compreensivelmente, para itens essenciais, como jogos, rastreamento de esqueletos, reconhecimento facial e áudio.

“Você precisa fazer cálculos muito, muito leves para cada pixel”, diz Krupka, “e isso é uma das coisas que tornou o problema desafiador e diferente da abordagem típica na literatura acadêmica nesse campo”.

Notavelmente, tudo se encaixou, e isso significa que, embora os amantes do entretenimento em todo o mundo em breve se deliciem com a experiência do Xbox One, também os que desejam desenvolver para a plataforma. Reduzir esse ruído de dados de borda torna os dados prontos para o desenvolvedor e ser capaz de segmentar claramente entre o primeiro plano e o segundo plano resolve um problema computacional complexo. Os dados são limpos e podem ser absorvidos mais facilmente pelos desenvolvedores de jogos.

Outra característica fascinante do dispositivo sensor Kinect no Xbox One vem de seu sensor infravermelho, que pode identificar objetos em uma sala completamente escura. Ele pode reconhecer pessoas e rastrear corpos mesmo sem nenhuma luz visível a olho nu. Ele pode identificar uma pose de mão a quatro metros de distância, ver os dedos de uma criança e lembrar sua identidade mesmo sem a iluminação da sala.

O campo de visão mais amplo possibilita que mais jogadores joguem um jogo do Xbox One ao mesmo tempo. Com o novo console, até seis jogadores podem se aglomerar em uma cena. Um adulto alto pode brincar com uma criança pequena sem ser espremido para fora da imagem. Os usuários obtêm uma experiência melhor se estiverem próximos, distantes ou na periferia da sala.

E o reconhecimento aprimorado de pose de mão permite que os usuários interajam com o Xbox One apenas usando as mãos - sem necessidade de controle. Graças à câmera infravermelha, as atividades manuais podem ser identificadas em qualquer iluminação ou sem nenhuma. As soluções anteriores de pose de mão eram capazes de fornecer velocidade ou precisão, mas não ambas. A solução de pose de mão desenvolvida em conjunto pela equipe do Xbox e pela Microsoft Research pode fazer as duas coisas.

Fonte: O blog oficial da Microsoft