Microsofts massive FPGA-baserte AI-plattform oppnår sanntidsbehandling i datasenterskala

Microsoft avslørte i dag litt mer om teknologien som til slutt vil drive robotene som vil knuse hodeskallene våre under hælene deres.

Kalt Project Brainwave, Microsofts skybaserte AI-plattform er drevet av Intels nye 14 nm Stratix 10 FPGA-enheter og er i stand til å levere vedvarende 39.5 Teraflops, og kjører hver forespørsel på under ett millisekund. Denne høye ytelsen og ultralave latensen lar Microsoft levere sanntids AI, som blir stadig viktigere ettersom skyinfrastrukturer behandler direkte datastrømmer, enten de er søk, videoer, sensorstrømmer eller interaksjoner med brukere.

Ved å koble høyytelses FPGA-er direkte til datasenternettverket deres, kan Microsoft betjene DNN-er som maskinvaremikrotjenester, der en DNN kan tilordnes en gruppe eksterne FPGA-er og kalles opp av en server uten programvare i løkken. Denne systemarkitekturen reduserer både latens, siden CPU-en ikke trenger å behandle innkommende forespørsler, og tillater svært høy gjennomstrømning, med FPGA-behandlingsforespørsler så raskt som nettverket kan streame dem.

Project Brainwave bruker en kraftig "myk" DNN-behandlingsenhet (eller DPU), syntetisert på kommersielt tilgjengelige FPGA-er som kombinerer både ASIC-digitale signalbehandlingsblokker på FPGA-ene og den syntetiserbare logikken for å gi et større og mer optimalisert antall funksjonelle enheter. Ved å bruke en rekke tilpassede teknikker kan den oppnå ytelse som kan sammenlignes med – eller større enn – mange hardkodede DPU-brikker.

For å hjelpe utviklere med å bruke all denne kraften har Project Brainwave en programvarestabel designet for å støtte det brede spekteret av populære dyplæringsrammeverk. Den støtter allerede Microsoft Cognitive Toolkit og Googles Tensorflow, med planer om å støtte mange andre.

Systemet er bygget for å vise høy faktisk ytelse på tvers av et bredt spekter av komplekse modeller, med batchfri utførelse og kan håndtere komplekse, minnekrevende modeller som LSTM-er i sanntid.

Selv på tidlig Stratix 10-silisium demonstrerte Microsoft det porterte Project Brainwave-systemet som kjører en stor GRU-modell – fem ganger større enn Resnet-50 – uten batching, og oppnådde rekordytelse. Demoen brukte Microsofts tilpassede 8-bits flyttallformat ("ms-fp8"), som ikke lider tap av nøyaktighet (i gjennomsnitt) på tvers av en rekke modeller.

De viste Stratix 10 som opprettholder 39.5 Teraflops på denne store GRUen, og kjører hver forespørsel på under ett millisekund. På det ytelsesnivået opprettholder Brainwave-arkitekturen utførelse av over 130,000 10 beregningsoperasjoner per syklus, drevet av en makroinstruksjon som utstedes hver 10. syklus. Project Brainwave, som kjører på Stratix XNUMX, oppnådde enestående nivåer av demonstrert AI-ytelse i sanntid på ekstremt utfordrende modeller, med dagens ytelse bare et utgangspunkt.

Microsoft planlegger å bringe Project Brainwave til Azure i 2018 slik at enhver kunde kan få tilgang til teknologien, slik at de kan kjøre sine mest komplekse dyplæringsmodeller med rekordhøy ytelse, og bringe Armageddon ett skritt nærmere.

Les mer om teknologien hos Microsoft her.