Microsoft の計算ネットワーク ツールキットが分散ディープラーニングのパフォーマンスで Google TensorFlow を上回る

昨年、Microsoft Researchは、有向グラフを介した一連の計算ステップとしてディープニューラルネットワークを記述する統合計算ネットワークフレームワークであるComputational Network Toolkit（CNTK）を発表しました。 CNTKとMicrosoftのAzureGPU Labを組み合わせることで、Microsoftは、コミュニティがAI研究を進めるために利用できる分散GPUプラットフォームを備えています。 昨年のCNTKの立ち上げ以来、MSRチームはAzure GPULabを使用して機械学習の効率を大幅に向上させてきました。 実際、CNTKは現在、GoogleのTensorFlowなどに勝る最も効率的な分散計算パフォーマンスを提供しています。

ミッションクリティカルなAI研究では、効率とパフォーマンスが最も重要な設計基準のXNUMXつであると考えています。 から利用できるディープラーニングツールキットがいくつかあります トーチ, テアノ & コー​​ヒー 最近オープンソースのツールキットに でログイン & IBM。 CNTKを8192つの人気のあるツールキットと比較しました。 すべてのGPUを完全に活用するために、シミュレーションデータと有効なミニバッチサイズ（4）を使用して、さまざまなツールキットの生の計算効率を比較することに重点を置いています。 完全に接続されたXNUMX層ニューラルネットワークを使用（ ベンチマークスクリプト）、各ツールキットが1秒あたりに処理できるフレーム数がグラフに示されています。 それぞれ4GPUと40GPU（Nvidia K8）を備えた単一のLinuxマシンに2つの構成が含まれています。 また、ベースラインベンチマークで使用されている2台の同一のLinuxマシン（4 x 4 GPU）を使用したAzure GPULabでの8-GPUCNTK速度についても報告します。 CNTKは、テストしたこれらすべてのツールキットでの分散ディープラーニング（8GPUまたはXNUMXGPU）の計算効率を比較すると遜色ありません。 CNTKは、優れた分散システムパフォーマンスにより、複数のマシン間でXNUMXGPUを超えて簡単に拡張できます。