Microsoft'un Hesaplamalı Ağ Araç Seti, Dağıtılmış Derin Öğrenme Performansında Google TensorFlow'u Geride Bırakıyor

Geçen yıl, Microsoft Research, derin sinir ağlarını yönlendirilmiş bir grafik aracılığıyla bir dizi hesaplama adımı olarak tanımlayan birleşik bir hesaplama ağı çerçevesi olan Hesaplamalı Ağ Araç Takımı'nı (CNTK) ortaya çıkardı. CNTK ve Microsoft'un Azure GPU Laboratuvarı'nın birleşimiyle Microsoft, topluluğun AI araştırmalarını ilerletmek için kullanabileceği dağıtılmış bir GPU platformuna sahiptir. Geçen yıl CNTK'nin piyasaya sürülmesinden bu yana, MSR ekibi Azure GPU Lab ile makine öğrenimi verimliliğini önemli ölçüde iyileştirdi. Aslında, CNTK artık Google'ın TensorFlow ve diğerlerini geride bırakan en verimli dağıtılmış hesaplama performansını sunuyor.

Görev açısından kritik yapay zeka araştırmaları için verimlilik ve performansın en önemli tasarım kriterlerinden biri olması gerektiğine inanıyoruz. Bir dizi derin öğrenme araç takımı mevcuttur. Meşale, Theano ve Caffe son zamanlardaki açık kaynaklı araç setlerine Google ve IBM. CNTK'yi dört popüler araç takımıyla karşılaştırdık. Tüm GPU'ları tam olarak kullanmak için, etkin bir mini parti boyutu (8192) ile simüle edilmiş verileri kullanan farklı araç takımlarının ham hesaplama verimliliğini karşılaştırmaya odaklanıyoruz. Tam bağlantılı 4 katmanlı bir sinir ağı ile (bkz. kıyaslama komut dosyaları), her araç setinin saniyede işleyebileceği kare sayısı grafikte gösterilmektedir. Sırasıyla 1 ve 4 GPU'lu (Nvidia K40) tek bir Linux makinesine iki yapılandırma ekledik. Ayrıca, temel kıyaslamada kullanıldığı şekliyle 8 özdeş Linux makinesiyle (2 x 2 GPU) Azure GPU Lab'deki 4-GPU CNTK hızımızı da rapor ediyoruz. CNTK, test ettiğimiz tüm bu araç setlerinde dağıtılmış derin öğrenme (4 GPU veya 8 GPU) için hesaplama verimliliği açısından olumlu bir şekilde karşılaştırıyor. CNTK, üstün dağıtılmış sistem performansıyla birden çok makinede 8 GPU'nun ötesine kolayca ölçeklenebilir.