微软计算网络工具包在分布式深度学习性能上击败谷歌TensorFlow

去年，微软研究院公布了计算网络工具包（CNTK），这是一个统一的计算网络框架，通过有向图将深度神经网络描述为一系列计算步骤。 通过 CNTK 和微软 Azure GPU 实验室的结合，微软拥有了一个分布式 GPU 平台，社区可以利用该平台来推进人工智能研究。 自去年 CNTK 推出以来，MSR 团队借助 Azure GPU Lab 显着提升了机器学习效率。 事实上，CNTK 现在提供了最高效的分布式计算性能，击败了 Google 的 TensorFlow 和其他公司。

对于关键任务 AI 研究，我们认为效率和性能应该是最重要的设计标准之一。 有许多深度学习工具包可从 火炬, 茶野 和 咖啡 到最近开源的工具包 谷歌 和 IBM. 我们将 CNTK 与四个流行的工具包进行了比较。 我们专注于比较不同工具包的原始计算效率，使用模拟数据和有效的小批量大小 (8192)，以充分利用所有 GPU。 使用完全连接的 4 层神经网络（参见我们的 基准脚本)，图表中说明了每个工具包每秒可以处理的帧数。 我们分别在具有 1 个和 4 个 GPU (Nvidia K40) 的单个 Linux 机器上包含两种配置。 我们还使用基准基准测试中使用的 8 台相同的 Linux 机器（2 x 2 GPU）报告了我们在 Azure GPU 实验室上的 4-GPU CNTK 速度。 在我们测试的所有这些工具包上，CNTK 在分布式深度学习（4 个 GPU 或 8 个 GPU）的计算效率方面具有优势。 CNTK 可以在多台机器上轻松扩展超过 8 个 GPU，并具有出色的分布式系统性能。