El kit de herramientas de red computacional de Microsoft supera a Google TensorFlow en el rendimiento de aprendizaje profundo distribuido

El año pasado, Microsoft Research reveló Computational Network Toolkit (CNTK), un marco de red computacional unificado que describe las redes neuronales profundas como una serie de pasos computacionales a través de un gráfico dirigido. Con la combinación de CNTK y Azure GPU Lab de Microsoft, Microsoft tiene una plataforma de GPU distribuida que la comunidad puede utilizar para avanzar en la investigación de IA. Desde el lanzamiento de CNTK el año pasado, el equipo de MSR ha mejorado significativamente la eficiencia del aprendizaje automático con Azure GPU Lab. De hecho, CNTK ahora ofrece el rendimiento computacional distribuido más eficiente superando a TensorFlow de Google y otros.

Para la investigación de IA de misión crítica, creemos que la eficiencia y el rendimiento deben ser uno de los criterios de diseño más importantes. Hay una serie de kits de herramientas de aprendizaje profundo disponibles en Torch, Theano y Caffe a los kits de herramientas de código abierto recientemente de Google y IBM. Comparamos CNTK con cuatro juegos de herramientas populares. Nos enfocamos en comparar la eficiencia computacional bruta de diferentes kits de herramientas utilizando datos simulados con un tamaño de mini lote efectivo (8192) para utilizar completamente todas las GPU. Con una red neuronal de 4 capas totalmente conectada (ver nuestro guiones de referencia), el número de fotogramas que cada conjunto de herramientas puede procesar por segundo se ilustra en el gráfico. Incluimos dos configuraciones en una sola máquina Linux con 1 y 4 GPU (Nvidia K40) respectivamente. También informamos nuestra velocidad CNTK de 8 GPU en Azure GPU Lab con 2 máquinas Linux idénticas (2 x 4 GPU) como se usa en el punto de referencia de referencia. CNTK se compara favorablemente en eficiencia computacional para aprendizaje profundo distribuido (4 GPU u 8 GPU) en todos estos kits de herramientas que probamos. CNTK puede escalar fácilmente más allá de 8 GPU en varias máquinas con un rendimiento de sistema distribuido superior.