Microsofts massiva FPGA-baserade AI-plattform uppnår realtidsbehandling i datacenterskala

Microsoft avslöjade idag lite mer om tekniken som så småningom kommer att driva robotarna som kommer att krossa våra skallar under hälarna på dem.

Kallas Project Brainwave, Microsofts molnbaserade AI-plattform drivs av Intels nya 14 nm Stratix 10 FPGA-enheter och kan leverera en hållbar 39.5 Teraflops, som kör varje begäran på under en millisekund. Denna höga prestanda och ultralåga latens låter Microsoft leverera AI i realtid, vilket blir allt viktigare när molninfrastrukturer bearbetar livedataströmmar, oavsett om det är sökfrågor, videor, sensorströmmar eller interaktioner med användare.

Genom att ansluta högpresterande FPGA:er direkt till deras datacenternätverk kan Microsoft tjäna DNN:er som maskinvarumikrotjänster, där en DNN kan mappas till en pool av fjärranslutna FPGA:er och anropas av en server utan programvara i slingan. Denna systemarkitektur minskar både latens, eftersom CPU:n inte behöver bearbeta inkommande förfrågningar, och tillåter mycket hög genomströmning, med FPGA-bearbetningsförfrågningar så snabbt som nätverket kan streama dem.

Project Brainwave använder en kraftfull "mjuk" DNN-processorenhet (eller DPU), syntetiserad på kommersiellt tillgängliga FPGA:er som kombinerar både ASIC digitala signalbehandlingsblock på FPGA:erna och den syntetiserbara logiken för att ge ett större och mer optimerat antal funktionella enheter. Genom att använda ett antal anpassade tekniker kan den uppnå prestanda som är jämförbar med – eller bättre än – många hårdkodade DPU-chips.

För att hjälpa utvecklare att använda all denna kraft har Project Brainwave en mjukvarustack utformad för att stödja det breda utbudet av populära ramverk för djupinlärning. Den stöder redan Microsoft Cognitive Toolkit och Googles Tensorflow, med planer på att stödja många andra.

Systemet är utformat för att visa hög faktisk prestanda över ett brett utbud av komplexa modeller, med batchfri exekvering och kan hantera komplexa, minnesintensiva modeller som LSTM:er i realtid.

Till och med på tidigt Stratix 10-kisel demonstrerade Microsoft det portade Project Brainwave-systemet som körde en stor GRU-modell – fem gånger större än Resnet-50 – utan batchning och uppnådde rekordprestanda. Demon använde Microsofts anpassade 8-bitars flyttalsformat (“ms-fp8”), som inte lider av precisionsförluster (i genomsnitt) över en rad modeller.

De visade att Stratix 10 upprätthöll 39.5 Teraflops på denna stora GRU, som körde varje begäran på under en millisekund. På den prestandanivån upprätthåller Brainwave-arkitekturen exekvering av över 130,000 10 beräkningsoperationer per cykel, drivna av en makroinstruktion som utfärdas var 10:e cykel. Med Stratix XNUMX uppnådde Project Brainwave oöverträffade nivåer av demonstrerad AI-prestanda i realtid på extremt utmanande modeller, med dagens prestanda bara en utgångspunkt.

Microsoft planerar att ta Project Brainwave till Azure under 2018 så att alla kunder kan få tillgång till tekniken, vilket gör att de kan köra sina mest komplexa djupinlärningsmodeller med rekordprestanda och föra Armageddon ett steg närmare.

Läs mer om tekniken hos Microsoft här.