Masívna platforma AI spoločnosti Microsoft založená na FPGA dosahuje spracovanie v reálnom čase v rozsahu dátového centra

Microsoft dnes prezradil niečo viac o technológii, ktorá bude nakoniec poháňať roboty, ktoré nám rozdrvia lebky pod pätami.

Cloudová platforma umelej inteligencie od spoločnosti Microsoft s názvom Project Brainwave je poháňaná novými jednotkami Intel 14nm Stratix 10 FPGA a dokáže poskytnúť trvalých 39.5 teraflops, pričom každú požiadavku spracuje za menej ako jednu milisekúndu. Tento vysoký výkon a ultra nízka latencia umožňujú spoločnosti Microsoft poskytovať umelú inteligenciu v reálnom čase, ktorá sa stáva čoraz dôležitejšou, keďže cloudové infraštruktúry spracúvajú živé dátové toky, či už ide o vyhľadávacie dopyty, videá, toky zo senzorov alebo interakcie s používateľmi.

Pripojením vysokovýkonných FPGA priamo k svojej sieti dátových centier môže spoločnosť Microsoft slúžiť DNN ako hardvérové ​​mikroslužby, kde môže byť DNN mapované na skupinu vzdialených FPGA a volané serverom bez softvéru v slučke. Táto systémová architektúra znižuje latenciu, pretože CPU nemusí spracovávať prichádzajúce požiadavky, a umožňuje veľmi vysokú priepustnosť, pričom FPGA spracováva požiadavky tak rýchlo, ako ich sieť dokáže streamovať.

Project Brainwave využíva výkonnú „mäkkú“ procesorovú jednotku DNN (alebo DPU), syntetizovanú na komerčne dostupných FPGA, ktorá kombinuje bloky digitálneho spracovania signálu ASIC na FPGA a syntetizovateľnú logiku, čím poskytuje väčší a optimalizovanejší počet funkčných jednotiek. Pomocou množstva vlastných techník môže dosiahnuť výkon porovnateľný – alebo vyšší ako – mnoho napevno kódovaných čipov DPU.

Aby pomohli vývojárom využiť všetku túto silu, Project Brainwave zahŕňa softvérový balík navrhnutý na podporu širokej škály populárnych rámcov hlbokého učenia. Už podporuje Microsoft Cognitive Toolkit a Google Tensorflow s plánmi na podporu mnohých ďalších.

Systém je navrhnutý tak, aby vykazoval vysoký skutočný výkon naprieč širokou škálou zložitých modelov, s bezdávkovým vykonávaním a dokáže spracovať zložité, pamäťovo náročné modely, ako sú LSTM, v reálnom čase.

Dokonca aj na ranom kremíku Stratix 10 spoločnosť Microsoft demonštrovala portovaný systém Project Brainwave s veľkým modelom GRU – päťkrát väčším ako Resnet-50 – bez dávkovania a dosiahol rekordný výkon. Ukážka používala vlastný 8-bitový formát s pohyblivou rádovou čiarkou od spoločnosti Microsoft (“ms-fp8”), ktorý netrpí stratou presnosti (v priemere) naprieč celým radom modelov.

Ukázali, že Stratix 10 udrží 39.5 teraflops na tomto veľkom GRU, pričom každú požiadavku spustí za menej ako jednu milisekúndu. Na tejto úrovni výkonu architektúra Brainwave podporuje vykonávanie viac ako 130,000 10 výpočtových operácií za cyklus, poháňaných jednou makroinštrukciou vydávanou každých 10 cyklov. Projekt Brainwave, ktorý beží na Stratix XNUMX, dosiahol bezprecedentné úrovne preukázaného výkonu AI v reálnom čase na extrémne náročných modeloch, pričom dnešný výkon je len východiskovým bodom.

Microsoft plánuje priniesť Project Brainwave do Azure v roku 2018, aby každý zákazník mohol získať prístup k tejto technológii, čo mu umožní spustiť svoje najzložitejšie modely hlbokého učenia pri rekordnom výkone a priblížiť Armagedon o krok bližšie.

Prečítajte si viac podrobností o technológii v spoločnosti Microsoft tu.