Microsoft의 전산 네트워크 툴킷은 분산 딥 러닝 성능에서 Google TensorFlow를 능가합니다.

작년에 Microsoft Research는 심층 신경망을 방향 그래프를 통한 일련의 계산 단계로 설명하는 통합 계산 네트워크 프레임워크인 CNTK(Computational Network Toolkit)를 공개했습니다. CNTK와 Microsoft의 Azure GPU Lab을 결합하여 Microsoft는 커뮤니티에서 AI 연구를 발전시키는 데 활용할 수 있는 분산 GPU 플랫폼을 보유하고 있습니다. 작년 CNTK 출시 이후 MSR 팀은 Azure GPU Lab으로 기계 학습 효율성을 크게 개선했습니다. 실제로 CNTK는 이제 Google의 TensorFlow 및 기타 제품을 능가하는 가장 효율적인 분산 계산 성능을 제공합니다.

미션 크리티컬 AI 연구의 경우 효율성과 성능이 가장 중요한 설계 기준 중 하나여야 한다고 생각합니다. 에서 사용할 수 있는 딥 러닝 도구 모음이 많이 있습니다. 토치, 테아 노 와 CAFFE 에서 최근에 오픈 소스 툴킷으로 구글 와 IBM. CNTK를 8192가지 인기 있는 툴킷과 비교했습니다. 우리는 모든 GPU를 완전히 활용하기 위해 효과적인 미니 배치 크기(4)로 시뮬레이션된 데이터를 사용하여 다양한 툴킷의 원시 계산 효율성을 비교하는 데 중점을 둡니다. 완전히 연결된 XNUMX계층 신경망을 통해(우리의 벤치마크 스크립트), 각 툴킷이 초당 처리할 수 있는 프레임 수가 차트에 나와 있습니다. GPU(Nvidia K1)가 각각 4개 및 40개인 단일 Linux 시스템에 두 가지 구성이 포함되어 있습니다. 또한 기준 벤치마크에서 사용된 8개의 동일한 Linux 머신(2 x 2 GPU)이 있는 Azure GPU Lab에서 4-GPU CNTK 속도를 보고합니다. CNTK는 우리가 테스트한 이러한 모든 툴킷에서 분산 딥 러닝(4 GPU 또는 8 GPU)에 대한 계산 효율성에서 유리하게 비교됩니다. CNTK는 우수한 분산 시스템 성능으로 여러 시스템에서 GPU 8개 이상으로 쉽게 확장할 수 있습니다.