Il toolkit di rete computazionale di Microsoft batte Google TensorFlow nelle prestazioni di deep learning distribuito

L'anno scorso, Microsoft Research ha rivelato Computational Network Toolkit (CNTK), un framework di rete computazionale unificato che descrive le reti neurali profonde come una serie di passaggi computazionali tramite un grafico diretto. Con la combinazione di CNTK e Azure GPU Lab di Microsoft, Microsoft ha una piattaforma GPU distribuita che la comunità può utilizzare per far avanzare la ricerca sull'IA. Dal lancio di CNTK lo scorso anno, il team MSR ha notevolmente migliorato l'efficienza dell'apprendimento automatico con Azure GPU Lab. In effetti, CNTK ora offre le prestazioni di calcolo distribuite più efficienti, battendo TensorFlow di Google e altri.

Per la ricerca sull'IA mission-critical, riteniamo che l'efficienza e le prestazioni debbano essere uno dei criteri di progettazione più importanti. Sono disponibili numerosi toolkit per il deep learning Torcia, Theano ed Caffe ai toolkit recentemente aperti da Google ed IBM. Abbiamo confrontato CNTK con quattro popolari toolkit. Ci concentriamo sul confronto dell'efficienza computazionale grezza di diversi toolkit utilizzando dati simulati con una dimensione mini batch efficace (8192) al fine di utilizzare appieno tutte le GPU. Con una rete neurale a 4 strati completamente connessa (vedi ns script di riferimento), il numero di frame che ogni toolkit può elaborare al secondo è illustrato nel grafico. Includiamo due configurazioni su una singola macchina Linux con rispettivamente 1 e 4 GPU (Nvidia K40). Segnaliamo anche la nostra velocità CNTK a 8 GPU su Azure GPU Lab con 2 macchine Linux identiche (2 x 4 GPU) utilizzate nel benchmark di base. CNTK si confronta favorevolmente in termini di efficienza computazionale per il deep learning distribuito (4 GPU o 8 GPU) su tutti questi toolkit che abbiamo testato. CNTK può facilmente scalare oltre 8 GPU su più macchine con prestazioni di sistema distribuito superiori.