O kit de ferramentas de rede computacional da Microsoft supera o Google TensorFlow no desempenho de aprendizado profundo distribuído

No ano passado, a Microsoft Research revelou o Computational Network Toolkit (CNTK), uma estrutura de rede computacional unificada que descreve redes neurais profundas como uma série de etapas computacionais por meio de um gráfico direcionado. Com a combinação do CNTK e do Azure GPU Lab da Microsoft, a Microsoft tem uma plataforma de GPU distribuída que a comunidade pode utilizar para avançar na pesquisa de IA. Desde o lançamento do CNTK no ano passado, a equipe do MSR melhorou significativamente a eficiência do aprendizado de máquina com o Azure GPU Lab. Na verdade, o CNTK agora oferece o desempenho computacional distribuído mais eficiente, superando o TensorFlow do Google e outros.

Para pesquisas de IA de missão crítica, acreditamos que eficiência e desempenho devem ser um dos critérios de design mais importantes. Existem vários kits de ferramentas de aprendizado profundo disponíveis em Tocha, Theano e Caffe para os kits de ferramentas de código aberto recentemente Google e IBM. Comparamos o CNTK com quatro kits de ferramentas populares. Nós nos concentramos em comparar a eficiência computacional bruta de diferentes kits de ferramentas usando dados simulados com um tamanho efetivo de minilote (8192) para utilizar totalmente todas as GPUs. Com uma rede neural de 4 camadas totalmente conectada (veja nosso scripts de referência), o número de quadros que cada kit de ferramentas pode processar por segundo é ilustrado no gráfico. Incluímos duas configurações em uma única máquina Linux com 1 e 4 GPUs (Nvidia K40), respectivamente. Também relatamos nossa velocidade CNTK de 8 GPUs no Laboratório de GPU do Azure com 2 máquinas Linux idênticas (2 x 4 GPUs) conforme usado no benchmark de linha de base. O CNTK se compara favoravelmente em eficiência computacional para aprendizado profundo distribuído (4 GPUs ou 8 GPUs) em todos esses kits de ferramentas que testamos. O CNTK pode escalar facilmente além de 8 GPUs em várias máquinas com desempenho superior do sistema distribuído.