Zestaw narzędzi obliczeniowych firmy Microsoft pokonuje Google TensorFlow pod względem wydajności rozproszonego głębokiego uczenia się

W zeszłym roku Microsoft Research ujawnił Computational Network Toolkit (CNTK), ujednoliconą platformę sieci obliczeniowych, która opisuje głębokie sieci neuronowe jako serię kroków obliczeniowych za pomocą ukierunkowanego wykresu. Dzięki połączeniu CNTK i Microsoft Azure GPU Lab, Microsoft dysponuje rozproszoną platformą GPU, którą społeczność może wykorzystać do prowadzenia badań nad sztuczną inteligencją. Od czasu uruchomienia CNTK w zeszłym roku zespół MSR znacznie poprawił wydajność uczenia maszynowego dzięki Azure GPU Lab. W rzeczywistości CNTK oferuje teraz najbardziej wydajną wydajność obliczeń rozproszonych, przewyższającą TensorFlow firmy Google i inne.

Uważamy, że w przypadku badań nad sztuczną inteligencją o znaczeniu krytycznym wydajność i wydajność powinny być jednym z najważniejszych kryteriów projektowych. Istnieje wiele zestawów narzędzi do głębokiego uczenia się dostępnych od Pochodnia, Theano i Kawa do niedawno otwartych zestawów narzędzi od Google i IBM. Porównaliśmy CNTK z czterema popularnymi zestawami narzędzi. Skupiamy się na porównaniu surowej wydajności obliczeniowej różnych zestawów narzędzi przy użyciu symulowanych danych z efektywnym rozmiarem minipartii (8192), aby w pełni wykorzystać wszystkie procesory graficzne. Z w pełni połączoną 4-warstwową siecią neuronową (zobacz nasz skrypty testowe), liczba ramek, które każdy zestaw narzędzi może przetwarzać na sekundę, jest pokazana na wykresie. Uwzględniamy dwie konfiguracje na jednej maszynie z systemem Linux z odpowiednio 1 i 4 procesorami graficznymi (Nvidia K40). Raportujemy również prędkość 8-GPU CNTK w Azure GPU Lab z 2 identycznymi maszynami z systemem Linux (2 x 4 GPU), jak użyto w podstawowym teście. CNTK wypada korzystnie w porównaniu z wydajnością obliczeniową dla rozproszonego uczenia głębokiego (4 GPU lub 8 GPU) we wszystkich testowanych przez nas zestawach narzędzi. CNTK może z łatwością skalować ponad 8 procesorów graficznych na wielu maszynach z doskonałą wydajnością systemu rozproszonego.