Setul de instrumente de rețea de calcul de la Microsoft depășește Google TensorFlow în performanța de învățare profundă distribuită

Anul trecut, Microsoft Research a dezvăluit Computational Network Toolkit (CNTK), un cadru de rețea de calcul unificat care descrie rețelele neuronale profunde ca o serie de pași de calcul printr-un grafic direcționat. Cu combinația dintre CNTK și Azure GPU Lab de la Microsoft, Microsoft are o platformă GPU distribuită pe care comunitatea o poate utiliza pentru a avansa cercetarea AI. De la lansarea CNTK anul trecut, echipa MSR a îmbunătățit semnificativ eficiența învățării automate cu Azure GPU Lab. De fapt, CNTK oferă acum cea mai eficientă performanță de calcul distribuită, depășind TensorFlow de la Google și altele.

Pentru cercetarea AI critică pentru misiune, credem că eficiența și performanța ar trebui să fie unul dintre cele mai importante criterii de proiectare. Există o serie de seturi de instrumente de deep learning disponibile de la Lanternă, Theano și caffe la seturile de instrumente cu sursă deschisă recent de la Google și IBM. Am comparat CNTK cu patru seturi de instrumente populare. Ne concentrăm pe compararea eficienței computaționale brute a diferitelor seturi de instrumente folosind date simulate cu o dimensiune efectivă a unui mini lot (8192) pentru a utiliza pe deplin toate GPU-urile. Cu o rețea neuronală cu 4 straturi complet conectată (vezi noastre scripturi de referință), numărul de cadre pe care fiecare set de instrumente le poate procesa pe secundă este ilustrat în diagramă. Includem două configurații pe o singură mașină Linux cu 1 și respectiv 4 GPU-uri (Nvidia K40). De asemenea, raportăm viteza noastră CNTK de 8 GPU pe Azure GPU Lab cu 2 mașini Linux identice (2 x 4 GPU-uri) așa cum sunt utilizate în benchmark-ul de referință. CNTK se compară favorabil în ceea ce privește eficiența computațională pentru învățarea profundă distribuită (4 GPU-uri sau 8 GPU-uri) pe toate aceste seturi de instrumente pe care le-am testat. CNTK poate scala cu ușurință dincolo de 8 GPU-uri pe mai multe mașini cu performanțe superioare ale sistemului distribuit.