ערכת הכלים של רשת החישובית של מיקרוסופט מנצחת את Google TensorFlow בביצועי הלמידה העמוקה המבוזרת

בשנה שעברה, מחקר של מיקרוסופט חשף את ערכת הכלים של רשת חישובית (CNTK), מסגרת רשת חישובית מאוחדת שמתארת ​​רשתות עצביות עמוקות כסדרה של שלבים חישוביים באמצעות גרף מכוון. עם השילוב של CNTK ומעבדת Azure GPU של מיקרוסופט, למיקרוסופט יש פלטפורמת GPU מבוזרת שהקהילה יכולה להשתמש בה כדי לקדם מחקר בינה מלאכותית. מאז ההשקה של CNTK בשנה שעברה, צוות MSR שיפר משמעותית את יעילות למידת המכונה עם Azure GPU Lab. למעשה, CNTK מציעה כעת את הביצועים החישוביים המבוזרים היעילים ביותר תוך ניצוץ של TensorFlow של גוגל ואחרים.

עבור מחקר AI קריטי למשימה, אנו מאמינים שיעילות וביצועים צריכים להיות אחד מקריטריוני התכנון החשובים ביותר. ישנן מספר ערכות כלים ללמידה עמוקה זמינות לפיד, תיאנו ו Caffe אל ערכות הכלים שמקורן לאחרונה במקור פתוח Google ו יבמ. השווינו את CNTK עם ארבע ערכות כלים פופולריות. אנו מתמקדים בהשוואת היעילות החישובית הגולמית של ערכות כלים שונות תוך שימוש בנתונים מדומים עם גודל אצווה מיני יעיל (8192) על מנת לנצל באופן מלא את כל ה-GPUs. עם רשת עצבית בת 4 שכבות מחוברת במלואה (ראה שלנו סקריפטים בהשוואה), מספר הפריימים שכל ערכת כלים יכולה לעבד בשנייה מודגם בתרשים. אנו כוללים שתי תצורות במחשב לינוקס יחיד עם 1 ו-4 GPUs (Nvidia K40) בהתאמה. אנו מדווחים גם על מהירות ה-CNTK של 8-GPU במעבדת Azure GPU עם 2 מכונות לינוקס זהות (2 x 4 GPUs) כפי שהשתמשו בה בנצ'מרק הבסיס. CNTK משווה לטובה ביעילות החישובית עבור למידה עמוקה מבוזרת (4 GPUs או 8 GPUs) בכל ערכות הכלים הללו שבדקנו. CNTK יכול להגדיל בקלות מעבר ל-8 GPUs על פני מספר מכונות עם ביצועי מערכת מבוזרת מעולים.