A Microsoft hatalmas, FPGA-alapú AI-platformja valós idejű feldolgozást tesz lehetővé adatközponti méretekben

A Microsoft ma elárult néhány további információt arról a technológiáról, amely végül a robotokat hajtja majd, amelyek szétzúzzák koponyáinkat a sarkuk alatt.

A Project Brainwave névre keresztelt Microsoft felhőalapú mesterséges intelligencia platformja az Intel új, 14 nm-es Stratix 10 FPGA egységeivel működik, és 39.5 teraflops folyamatos teljesítményt képes leadni, és minden kérést kevesebb mint egy ezredmásodperc alatt teljesít. Ez a nagy teljesítmény és az ultraalacsony késleltetés lehetővé teszi a Microsoft számára, hogy valós idejű mesterséges intelligenciát biztosítson, ami egyre fontosabbá válik, ahogy a felhő infrastruktúrák feldolgozzák az élő adatfolyamokat, legyen szó keresési lekérdezésekről, videókról, érzékelőfolyamokról vagy a felhasználókkal folytatott interakciókról.

Ha a nagy teljesítményű FPGA-kat közvetlenül az adatközponti hálózatukhoz csatlakoztatja, a Microsoft hardveres mikroszolgáltatásként szolgálhatja ki a DNN-eket, ahol a DNN-t le lehet képezni egy távoli FPGA-készlethez, és egy szerver hívhatja meg szoftver nélkül. Ez a rendszerarchitektúra csökkenti a késleltetést, mivel a CPU-nak nem kell feldolgoznia a bejövő kéréseket, és nagyon nagy átviteli sebességet tesz lehetővé, mivel az FPGA olyan gyorsan dolgozza fel a kéréseket, ahogyan a hálózat streamelni tudja.

A Project Brainwave egy nagy teljesítményű „puha” DNN-feldolgozó egységet (vagy DPU-t) használ, amelyet kereskedelmi forgalomban kapható FPGA-kra szintetizálnak, és amely egyesíti az FPGA-kon található ASIC digitális jelfeldolgozó blokkokat és a szintetizálható logikát, hogy nagyobb és optimalizáltabb számú funkcionális egységet biztosítson. Számos egyedi technikával olyan teljesítményt érhet el, amely összemérhető – vagy nagyobb, mint sok kemény kódolt DPU chip.

Annak érdekében, hogy a fejlesztők kihasználhassák mindezt az erőt, a Project Brainwave egy szoftvercsomagot tartalmaz, amelyet a népszerű mély tanulási keretrendszerek széles skálájának támogatására terveztek. Már támogatja a Microsoft Cognitive Toolkit és a Google Tensorflow-t, és a tervek szerint sok mást is támogat.

A rendszert úgy tervezték meg, hogy az összetett modellek széles skáláján magas tényleges teljesítményt mutasson, kötegmentes végrehajtással, és valós időben képes kezelni az összetett, memóriaigényes modelleket, például az LSTM-eket.

A Microsoft még a korai Stratix 10 szilíciumnál is bemutatta a portolt Project Brainwave rendszert, amely egy nagy GRU-modellt futtatott – ötször nagyobb, mint a Resnet-50 – kötegelés nélkül, és rekord teljesítményt ért el. A demó a Microsoft egyedi 8 bites lebegőpontos formátumát ("ms-fp8") használta, amely nem szenved (átlagosan) pontossági veszteséget a modellek skáláján.

Megmutatták, hogy a Stratix 10 39.5 teraflopot képes fenntartani ezen a nagy GRU-n, és minden kérést egy milliszekundum alatt teljesített. Ezen a teljesítményszinten a Brainwave architektúra ciklusonként több mint 130,000 10 számítási művelet végrehajtását képes fenntartani, amelyet 10 ciklusonként egy-egy makróutasítás hajt. A Stratix XNUMX-en futó Project Brainwave példátlan szintet ért el a demonstrált valós idejű AI teljesítményben rendkívül nagy kihívást jelentő modelleken, a mai teljesítmény pedig csak kiindulópont.

A Microsoft azt tervezi, hogy 2018-ban bevezeti a Project Brainwave-ot az Azure-ba, így bármely ügyfél hozzáférhet a technológiához, lehetővé téve számukra a legösszetettebb mély tanulási modellek rekorder teljesítményű futtatását, és egy lépéssel közelebb hozza az Armageddont.

Olvasson többet a technológiáról itt a Microsoftban.