Em vez de 5 câmeras, o HoloLens 2.0 pode ter apenas uma

A geração atual do HoloLens (acima) na verdade tem 5 câmeras - duas de cada lado para detecção de profundidade usando emissores de pontos infravermelhos, bem como o Kinect, e uma câmera RGB central que usa luz ambiente regular para localização e mapeamento simultâneos (SLAM), semelhante à forma como as câmeras nos headsets do Windows Mixed Reality são capazes de calcular seu movimento e posição relativos com base no cenário em seu ambiente.

Em uma nova patente solicitada em março de 2017 e publicada hoje, a Microsoft descreve uma nova câmera multiespectral que pode substituir as 5 câmeras por apenas uma.

O resumo do aplicativo, MÓDULO DE ILUMINAÇÃO E SENSOR MULTI-SPECTRUM PARA RASTREAMENTO DE CABEÇA, RECONHECIMENTO DE GESTOS E MAPEAMENTO ESPACIAL, diz:

Um dispositivo e método usam vários emissores de luz com um único sensor de imagem multiespectro para realizar detecção de profundidade baseada em luz infravermelha multimodal e localização e mapeamento simultâneos baseados em luz visível (SLAM). A detecção de profundidade baseada em infravermelho multimodal pode incluir, por exemplo, qualquer combinação de mapeamento espacial baseado em infravermelho, rastreamento manual baseado em infravermelho e/ou rotulagem semântica baseada em infravermelho. O SLAM baseado em luz visível pode incluir rastreamento de cabeça, por exemplo.

A Microsoft explica ainda a principal inovação, o sensor de imagem multiespectro, como tal:

A Figura 4 ilustra esquematicamente um sensor multiespectro para detectar luz visível e luz IR. O sensor multiespectro 400 inclui dois tipos diferentes de pixels do sensor: pixels de luz visível e pixels de luz IR. Os pixels de luz visível (cada um indicado por um “V” na Figura 4) são sensíveis à luz visível de banda larga (por exemplo, de 400 nm a 650 nm) e têm sensibilidade limitada à luz infravermelha. Os pixels de luz IR (cada um indicado por um “IR” na Figura 4) são sensíveis à luz IR e têm sensibilidade limitada à diafonia óptica da luz visível. Na modalidade ilustrada os pixels IR e os pixels de luz visível são intercalados no sensor 400 em um tabuleiro de xadrez (ou seja, alternando bidimensionalmente). O sensor 400 multiespectro pode ser acoplado a um filtro passa-banda IR (não mostrado na Figura 4) para minimizar a quantidade de luz IR ambiente que incide sobre os pixels de luz IR. Em algumas modalidades, o filtro passa banda passa luz visível com comprimentos de onda na faixa de 400-650 nm e banda estreita de IR (por exemplo, comprimento de onda inferior a 30 nm).

Em algumas modalidades, os pixels de luz visível do sensor multiespectro 400 servem coletivamente como um sensor de imagem passivo para coletar luz visível e gravar imagens de luz visível em escala de cinza. O dispositivo HMD pode usar as imagens de luz visível para fins de SLAM, como rastreamento de cabeça. Os pixels de luz IR do sensor multiespectro 400 servem coletivamente como um sensor de câmera de profundidade para coletar luz IR e gravar imagens IR (também chamadas de imagens IR monocromáticas) para detecção de profundidade, como rastreamento manual, mapeamento espacial e/ou rotulagem semântica de objetos.

Reduzir a contagem de peças do próximo HoloLens, é claro, tem o potencial de reduzir o custo, tamanho, complexidade e consumo de energia do dispositivo, o que pode significar um HoloLens 2 menor e mais barato, que é exatamente o que a Microsoft precisa para permanecer competitivo.

Espera-se que o próximo HoloLens tenha uma unidade de processamento holográfico aprimorada com mais recursos de IAE um câmera de profundidade melhorada do tipo Kinect. O principal desafio da Microsoft com os novos Hololens é melhorar o campo de visão, que a 35 graus foi descrito como olhar o mundo através de um slot de correio. A Microsoft está supostamente trazendo desenvolvimento das lentes internamente para conseguir isso a um custo razoável.

HoloLens 2 supostamente será alimentado pelo recentemente anunciado Processador Qualcomm Snapdragon XR1, que foi projetado com o propósito expresso de oferecer uma experiência de RV e RA de “alta qualidade”. O dispositivo provavelmente executará a versão ARM do Windows 10 com a interface de usuário de realidade mista da Microsoft.

Com a próxima geração do fone de ouvido esperada nos próximos 6 meses, esperamos ver muitas dessas inovações patenteadas aparecendo no dispositivo real.

See a patente completa aqui.