Набір обчислювальних мереж від Microsoft перевершує Google TensorFlow у продуктивності розподіленого глибокого навчання

Минулого року Microsoft Research представила Computational Network Toolkit (CNTK), уніфіковану обчислювальну мережу, яка описує глибокі нейронні мережі як серію обчислювальних кроків за допомогою орієнтованого графа. Завдяки комбінації CNTK і лабораторії Microsoft Azure GPU, Microsoft має розподілену платформу GPU, яку спільнота може використовувати для просування досліджень AI. З моменту запуску CNTK минулого року команда MSR значно підвищила ефективність машинного навчання за допомогою Azure GPU Lab. Фактично, CNTK тепер пропонує найефективнішу розподілену обчислювальну продуктивність, перевершуючи TensorFlow від Google та інші.

Ми вважаємо, що ефективність і продуктивність для критичних досліджень ШІ мають бути одними з найважливіших критеріїв проектування. Існує ряд інструментів глибокого навчання, доступних з Факел, Теано та Кафе до нещодавно відкритих наборів інструментів від Google та IBM. Ми порівняли CNTK з чотирма популярними наборами інструментів. Ми зосереджуємось на порівнянні вихідної обчислювальної ефективності різних наборів інструментів, використовуючи змодельовані дані з ефективним розміром міні-пакету (8192), щоб повністю використовувати всі графічні процесори. З повністю підключеною 4-шаровою нейронною мережею (див тестові сценарії), кількість кадрів, які кожен інструментарій може обробити за секунду, показано на діаграмі. Ми включаємо дві конфігурації на одній машині Linux з 1 і 4 графічними процесорами (Nvidia K40) відповідно. Ми також повідомляємо про нашу швидкість CNTK з 8 GPU в Azure GPU Lab з 2 ідентичними машинами Linux (2 x 4 GPU), які використовуються в базовому тесті. CNTK вигідно відрізняється за обчислювальною ефективністю для розподіленого глибокого навчання (4 GPU або 8 GPU) на всіх цих наборах інструментів, які ми тестували. CNTK може легко масштабувати понад 8 графічних процесорів на кількох машинах з чудовою продуктивністю розподіленої системи.