Das Computational Network Toolkit von Microsoft übertrifft Google TensorFlow in der verteilten Deep-Learning-Leistung

Letztes Jahr stellte Microsoft Research das Computational Network Toolkit (CNTK) vor, ein vereinheitlichtes Computernetzwerk-Framework, das tiefe neuronale Netzwerke als eine Reihe von Rechenschritten über einen gerichteten Graphen beschreibt. Mit der Kombination von CNTK und dem Azure GPU Lab von Microsoft verfügt Microsoft über eine verteilte GPU-Plattform, die die Community nutzen kann, um die KI-Forschung voranzutreiben. Seit der Einführung von CNTK im vergangenen Jahr hat das MSR-Team die Effizienz des maschinellen Lernens mit Azure GPU Lab erheblich verbessert. Tatsächlich bietet CNTK jetzt die effizienteste verteilte Rechenleistung, die Googles TensorFlow und andere übertrifft.

Für die unternehmenskritische KI-Forschung glauben wir, dass Effizienz und Leistung eines der wichtigsten Designkriterien sein sollten. Es gibt eine Reihe von Deep-Learning-Toolkits, die verfügbar sind Fackel, Theano und Caffe zu den kürzlich quelloffenen Toolkits von Google und IBM. Wir haben CNTK mit vier beliebten Toolkits verglichen. Wir konzentrieren uns auf den Vergleich der reinen Recheneffizienz verschiedener Toolkits unter Verwendung simulierter Daten mit einer effektiven Mini-Batch-Größe (8192), um alle GPUs voll auszunutzen. Mit einem vollständig verbundenen neuronalen 4-Schicht-Netzwerk (siehe unsere Benchmark-Skripte), die Anzahl der Frames, die jedes Toolkit pro Sekunde verarbeiten kann, ist im Diagramm dargestellt. Wir schließen zwei Konfigurationen auf einem einzelnen Linux-Computer mit 1 bzw. 4 GPUs (Nvidia K40) ein. Wir berichten auch unsere 8-GPU-CNTK-Geschwindigkeit auf Azure GPU Lab mit 2 identischen Linux-Computern (2 x 4 GPUs), wie sie im Baseline-Benchmark verwendet werden. CNTK schneidet bei all diesen von uns getesteten Toolkits in Bezug auf die Recheneffizienz für verteiltes Deep Learning (4 GPUs oder 8 GPUs) positiv ab. CNTK kann problemlos über 8 GPUs auf mehreren Computern mit überlegener verteilter Systemleistung skaliert werden.