A enorme plataforma de IA baseada em FPGA da Microsoft alcança processamento em tempo real em escala de data center

A Microsoft revelou hoje um pouco mais sobre a tecnologia que eventualmente alimentará os robôs que esmagarão nossos crânios sob seus calcanhares.

Chamada de Project Brainwave, a plataforma de IA baseada em nuvem da Microsoft é alimentada pelas novas unidades Stratix 14 FPGA de 10 nm da Intel e é capaz de fornecer 39.5 Teraflops sustentáveis, executando cada solicitação em menos de um milissegundo. Esse alto desempenho e latência ultrabaixa permitem que a Microsoft forneça IA em tempo real, que está se tornando cada vez mais importante à medida que as infraestruturas de nuvem processam fluxos de dados ao vivo, sejam consultas de pesquisa, vídeos, fluxos de sensores ou interações com usuários.

Ao anexar FPGAs de alto desempenho diretamente à sua rede de datacenter, a Microsoft pode servir DNNs como microsserviços de hardware, onde um DNN pode ser mapeado para um pool de FPGAs remotos e chamado por um servidor sem software no loop. Essa arquitetura de sistema reduz a latência, uma vez que a CPU não precisa processar as solicitações recebidas, e permite um throughput muito alto, com o FPGA processando as solicitações tão rápido quanto a rede pode transmiti-las.

O Projeto Brainwave usa uma poderosa unidade de processamento DNN (ou DPU) “soft”, sintetizada em FPGAs comercialmente disponíveis que combina os blocos de processamento de sinal digital ASIC nos FPGAs e a lógica sintetizável para fornecer um número maior e mais otimizado de unidades funcionais. Usando uma série de técnicas personalizadas, ele pode obter um desempenho comparável – ou superior – a muitos chips DPU codificados.

Para ajudar os desenvolvedores a usar todo esse poder, o Projeto Brainwave incorpora uma pilha de software projetada para oferecer suporte a uma ampla variedade de estruturas populares de aprendizado profundo. Ele já suporta o Microsoft Cognitive Toolkit e o Tensorflow do Google, com planos para oferecer suporte a muitos outros.

O sistema foi projetado para mostrar alto desempenho real em uma ampla variedade de modelos complexos, com execução sem lotes e pode lidar com modelos complexos com uso intensivo de memória, como LSTMs, em tempo real.

Mesmo no início do silício Stratix 10, a Microsoft demonstrou o sistema Project Brainwave portado executando um grande modelo GRU - cinco vezes maior que o Resnet-50 - sem lotes e alcançou um desempenho recorde. A demonstração usou o formato de ponto flutuante de 8 bits personalizado da Microsoft (“ms-fp8”), que não sofre perdas de precisão (em média) em vários modelos.

Eles mostraram o Stratix 10 sustentando 39.5 Teraflops nessa grande GRU, executando cada solicitação em menos de um milissegundo. Nesse nível de desempenho, a arquitetura Brainwave sustenta a execução de mais de 130,000 operações de computação por ciclo, impulsionadas por uma macroinstrução emitida a cada 10 ciclos. Executado no Stratix 10, o Project Brainwave alcançou níveis sem precedentes de desempenho de IA em tempo real demonstrado em modelos extremamente desafiadores, com o desempenho de hoje apenas um ponto de partida.

A Microsoft planeja trazer o Project Brainwave para o Azure em 2018 para que qualquer cliente possa obter acesso à tecnologia, permitindo que eles executem seus modelos de aprendizado profundo mais complexos com desempenho recorde e aproximando o Armageddon.

Leia mais detalhes sobre a tecnologia na Microsoft aqui.