O mecanismo de processamento neural Snapdragon da Qualcomm permitirá melhores experiências de AR

A Apple ARKit será a maior plataforma AR do mundo quando for lançada ainda este ano. Centenas de milhões de dispositivos iPhone e iPad serão compatíveis com ARKit, graças à poderosa CPU e GPU que já estão disponíveis nesses dispositivos. Para permitir detecção de cena e rastreamento de objetos altamente precisos, você precisa executar algoritmos orientados por rede neural no dispositivo. Esses algoritmos não podem ser executados inteiramente na CPU como qualquer outro algoritmo, pois exigem mais energia e consomem mais bateria. Como a Apple conhece exatamente o hardware dentro desses dispositivos, eles otimizaram o ARKit para funcionar bem nos dispositivos iOS de maneira eficiente em termos de energia.

O Google, por outro lado, não pode fazer o mesmo, pois seu ecossistema Android é construído em uma ampla variedade de modelos de CPU e GPU de diferentes fornecedores, como Qualcomm, Samsung, MediaTek, etc., e seus recursos variam drasticamente. A Qualcomm, a fabricante de processadores móveis mais popular, está tentando resolver esse problema usando o SDK do Neural Processing Engine (NPE). O Snapdragon NPE é uma estrutura de software de aprendizado profundo projetada para plataformas móveis Snapdragon. Ele ajuda os desenvolvedores a executar um ou mais modelos de rede neural treinados em Caffe/Caffe2 ou TensorFlow em plataformas móveis Snapdragon, seja CPU, GPU ou DSP. Ele suporta redes neurais convolucionais e camadas personalizadas.

• O Snapdragon NPE foi projetado para ajudar os desenvolvedores a economizar tempo e esforço na otimização do desempenho de redes neurais treinadas em dispositivos com Snapdragon.
• Ele faz isso fornecendo ferramentas para conversão e execução de modelos, bem como APIs para direcionar o núcleo com o perfil de potência e desempenho para corresponder à experiência do usuário desejada.
• Os desenvolvedores podem aproveitar as experiências do usuário de aprendizado profundo, como transferências de estilo e filtros (realidade aumentada), detecção de cena, reconhecimento facial, compreensão de linguagem natural, rastreamento e prevenção de objetos, gestos e reconhecimento de texto, para citar alguns.

O Facebook, por exemplo, está planejando integrar o Snapdragon NPE na câmera do aplicativo do Facebook para acelerar os recursos AR do Caffe2. Como resultado, eles podem obter um desempenho 5x melhor na GPU Adreno, em comparação com uma implementação genérica de CPU, resultando em uma aplicação mais fluida, perfeita e realista dos recursos de AR ao capturar fotos e vídeos ao vivo.

O Snapdragon NPE SDK inclui o seguinte:

• Tempos de execução Android e Linux para execução de modelo de rede neural
• Suporte de aceleração para DSPs Qualcomm Hexagon, GPUs Qualcomm Adreno e Qualcomm Kryo, CPUs
• Suporte para modelos nos formatos Caffe, Caffe2 e TensorFlow³
• APIs para controlar o carregamento, execução e agendamento nos tempos de execução
• Ferramentas de desktop para conversão de modelos
• Referência de desempenho para identificação de gargalos
• Código de exemplo e tutoriais
• Documentação HTML

O Snapdragon NPE é compatível com as plataformas móveis das séries Snapdragon 600 e 800. De acordo com minha estimativa, haverá pelo menos 200 milhões de dispositivos móveis ativos executando os processadores das séries Snapdragon 600 e 800. Esperamos que os desenvolvedores aproveitem essa plataforma NPE para criar ótimas experiências de AR em dispositivos móveis. Você pode baixar o SDK SUA PARTICIPAÇÃO FAZ A DIFERENÇA.

Em uma nota relacionada, a Microsoft anunciou no início desta semana que a próxima versão do HoloLens apresentará a segunda versão da HPU que incluirá um coprocessador de IA para implementar redes neurais profundas de forma nativa e flexível. Leia mais sobre isso SUA PARTICIPAÇÃO FAZ A DIFERENÇA.