Masivní platforma AI společnosti Microsoft založená na FPGA dosahuje zpracování v reálném čase v měřítku datového centra

Microsoft dnes odhalil něco více o technologii, která bude nakonec pohánět roboty, kteří nám budou drtit lebky pod patami.

Cloudová platforma umělé inteligence od společnosti Microsoft, nazvaná Project Brainwave, je poháněna novými jednotkami Intel 14nm Stratix 10 FPGA a je schopna dodávat udržitelných 39.5 teraflopů, přičemž každý požadavek zpracuje za méně než jednu milisekundu. Tento vysoký výkon a ultra nízká latence umožňují společnosti Microsoft poskytovat umělou inteligenci v reálném čase, která se stává stále důležitější, protože cloudové infrastruktury zpracovávají živé datové toky, ať už jde o vyhledávací dotazy, videa, toky ze senzorů nebo interakce s uživateli.

Připojením vysoce výkonných FPGA přímo k síti svých datových center může Microsoft sloužit DNN jako hardwarové mikroslužby, kde lze DNN mapovat na skupinu vzdálených FPGA a volat serverem bez softwaru ve smyčce. Tato systémová architektura snižuje latenci, protože CPU nemusí zpracovávat příchozí požadavky, a umožňuje velmi vysokou propustnost, přičemž FPGA zpracovává požadavky tak rychle, jak je síť dokáže streamovat.

Project Brainwave využívá výkonnou „soft“ procesorovou jednotku DNN (nebo DPU), syntetizovanou na komerčně dostupných FPGA, která kombinuje jak bloky digitálního zpracování signálu ASIC na FPGA, tak syntetizovatelnou logiku, aby poskytla větší a optimalizovanější počet funkčních jednotek. Pomocí řady vlastních technik může dosáhnout výkonu srovnatelného – nebo vyššího – s mnoha pevně kódovanými čipy DPU.

Aby vývojářům pomohl využít všechnu tuto sílu, Project Brainwave zahrnuje softwarový balík navržený tak, aby podporoval širokou škálu populárních rámců hlubokého učení. Již podporuje Microsoft Cognitive Toolkit a Google Tensorflow a plánuje podporu mnoha dalších.

Systém je navržen tak, aby vykazoval vysoký skutečný výkon napříč širokou škálou komplexních modelů, s bezdávkovým prováděním a dokázal zpracovat složité, paměťově náročné modely, jako jsou LSTM, v reálném čase.

Dokonce i na raném křemíku Stratix 10 Microsoft předvedl portovaný systém Project Brainwave s velkým modelem GRU – pětkrát větším než Resnet-50 – bez dávkování a dosáhl rekordního výkonu. Demo použilo vlastní 8bitový formát s plovoucí desetinnou čárkou společnosti Microsoft („ms-fp8“), ​​který u řady modelů netrpí (v průměru) ztrátou přesnosti.

Ukázali, že Stratix 10 udrží 39.5 teraflopů na tomto velkém GRU, přičemž každý požadavek spustí za méně než jednu milisekundu. Na této úrovni výkonu architektura Brainwave udržuje provádění více než 130,000 10 výpočetních operací na cyklus, řízených jednou makroinstrukcí vydávanou každých 10 cyklů. Projekt Brainwave, běžící na Stratix XNUMX, dosáhl bezprecedentní úrovně prokázaného výkonu umělé inteligence v reálném čase na extrémně náročných modelech, přičemž dnešní výkon je pouze výchozím bodem.

Microsoft plánuje uvést Project Brainwave do Azure v roce 2018, aby každý zákazník mohl získat přístup k technologii, což mu umožní provozovat své nejsložitější modely hlubokého učení při rekordním výkonu a přiblížit Armageddon o krok blíže.

Přečtěte si více podrobností o technologii v Microsoft zde.