Microsoft Computational Network Toolkit poráža Google TensorFlow vo výkone distribuovaného hlbokého učenia

Minulý rok Microsoft Research odhalil Computational Network Toolkit (CNTK), jednotný rámec výpočtovej siete, ktorý popisuje hlboké neurónové siete ako sériu výpočtových krokov prostredníctvom orientovaného grafu. Vďaka kombinácii CNTK a Microsoft Azure GPU Lab má Microsoft distribuovanú platformu GPU, ktorú môže komunita využiť na pokrok vo výskume AI. Od spustenia CNTK minulý rok tím MSR výrazne zlepšil efektivitu strojového učenia pomocou Azure GPU Lab. V skutočnosti CNTK teraz ponúka najefektívnejší distribuovaný výpočtový výkon, ktorý poráža TensorFlow od Google a ďalšie.

Pre kritický výskum AI veríme, že účinnosť a výkon by mali byť jedným z najdôležitejších kritérií dizajnu. K dispozícii je množstvo sád nástrojov hlbokého učenia Pochodeň, Theano a Caffe k nedávno otvoreným súpravám nástrojov z Google a IBM. Porovnali sme CNTK so štyrmi populárnymi sadami nástrojov. Zameriavame sa na porovnanie surovej výpočtovej účinnosti rôznych súprav nástrojov pomocou simulovaných údajov s efektívnou minimálnou veľkosťou dávky (8192), aby sme plne využili všetky GPU. S plne prepojenou 4-vrstvovou neurónovou sieťou (pozri naše benchmarkové skripty), počet snímok, ktoré môže každá sada nástrojov spracovať za sekundu, je znázornená v tabuľke. Zahŕňame dve konfigurácie na jednom počítači so systémom Linux s 1 a 4 GPU (Nvidia K40). Uvádzame aj našu rýchlosť 8-GPU CNTK v laboratóriu Azure GPU Lab s 2 identickými počítačmi so systémom Linux (2 x 4 GPU), ako sa používa v základnom benchmarku. CNTK sa priaznivo porovnáva vo výpočtovej efektívnosti pre distribuované hlboké učenie (4 GPU alebo 8 GPU) na všetkých týchto súpravách nástrojov, ktoré sme testovali. CNTK môže jednoducho škálovať viac ako 8 GPU na viacerých počítačoch s vynikajúcim výkonom distribuovaného systému.