Toolkit Jaringan Komputasi Microsoft Mengalahkan Google TensorFlow Dalam Performa Pembelajaran Mendalam Terdistribusi

Tahun lalu, Microsoft Research mengungkapkan Computational Network Toolkit (CNTK), kerangka kerja jaringan komputasi terpadu yang menggambarkan jaringan saraf dalam sebagai serangkaian langkah komputasi melalui grafik terarah. Dengan kombinasi CNTK dan Microsoft Azure GPU Lab, Microsoft memiliki platform GPU terdistribusi yang dapat dimanfaatkan komunitas untuk memajukan penelitian AI. Sejak peluncuran CNTK tahun lalu, tim MSR telah meningkatkan efisiensi pembelajaran mesin secara signifikan dengan Azure GPU Lab. Faktanya, CNTK sekarang menawarkan kinerja komputasi terdistribusi paling efisien yang mengalahkan TensorFlow Google dan lainnya.

Untuk penelitian AI yang sangat penting, kami percaya efisiensi dan kinerja harus menjadi salah satu kriteria desain yang paling penting. Ada sejumlah perangkat pembelajaran mendalam yang tersedia dari Obor, Theano dan Caffe ke toolkit open source baru-baru ini dari Google dan IBM. Kami membandingkan CNTK dengan empat toolkit populer. Kami fokus untuk membandingkan efisiensi komputasi mentah dari toolkit yang berbeda menggunakan data simulasi dengan ukuran batch mini yang efektif (8192) untuk memanfaatkan sepenuhnya semua GPU. Dengan jaringan saraf 4-lapisan yang terhubung penuh (lihat kami skrip benchmark), jumlah frame yang dapat diproses setiap toolkit per detik diilustrasikan dalam bagan. Kami menyertakan dua konfigurasi pada satu mesin Linux dengan masing-masing 1 dan 4 GPU (Nvidia K40). Kami juga melaporkan kecepatan CNTK 8-GPU kami di Azure GPU Lab dengan 2 mesin Linux yang identik (2 x 4 GPU) seperti yang digunakan dalam benchmark dasar. CNTK lebih baik dibandingkan dalam efisiensi komputasi untuk pembelajaran mendalam terdistribusi (4 GPU atau 8 GPU) pada semua toolkit yang kami uji ini. CNTK dapat dengan mudah menskalakan lebih dari 8 GPU di beberapa mesin dengan kinerja sistem terdistribusi yang unggul.