Microsofts massive FPGA-baserede AI-platform opnår realtidsbehandling i datacenterskala

Microsoft afslørede i dag noget mere om teknologien, som i sidste ende vil drive robotterne, som vil knuse vores kranier under deres hæle.

Kaldet Project Brainwave, Microsofts cloud-baserede AI-platform er drevet af Intels nye 14 nm Stratix 10 FPGA-enheder og er i stand til at levere en vedvarende 39.5 Teraflops, der kører hver anmodning på under et millisekund. Denne høje ydeevne og ultralave latenstid lader Microsoft levere AI i realtid, som bliver stadig vigtigere, efterhånden som cloud-infrastrukturer behandler live datastrømme, uanset om det er søgeforespørgsler, videoer, sensorstreams eller interaktioner med brugere.

Ved at knytte højtydende FPGA'er direkte til deres datacenternetværk kan Microsoft tjene DNN'er som hardwaremikrotjenester, hvor en DNN kan tilknyttes en pulje af eksterne FPGA'er og kaldes af en server uden software i løkken. Denne systemarkitektur reducerer både latens, da CPU'en ikke behøver at behandle indgående anmodninger, og tillader meget høj gennemstrømning, med FPGA-behandlingsanmodninger så hurtigt, som netværket kan streame dem.

Project Brainwave bruger en kraftfuld "blød" DNN-behandlingsenhed (eller DPU), syntetiseret på kommercielt tilgængelige FPGA'er, der kombinerer både de digitale ASIC-signalbehandlingsblokke på FPGA'erne og den syntetiserbare logik for at give et større og mere optimeret antal funktionelle enheder. Ved at bruge en række brugerdefinerede teknikker kan den opnå en ydeevne, der kan sammenlignes med - eller større end - mange hårdkodede DPU-chips.

For at hjælpe udviklere med at bruge al denne kraft inkorporerer Project Brainwave en softwarestak, der er designet til at understøtte den brede vifte af populære deep learning-rammer. Det understøtter allerede Microsoft Cognitive Toolkit og Googles Tensorflow, med planer om at understøtte mange andre.

Systemet er designet til at vise høj faktisk ydeevne på tværs af en lang række komplekse modeller, med batch-fri udførelse og kan håndtere komplekse, hukommelsesintensive modeller såsom LSTM'er i realtid.

Selv på det tidlige Stratix 10-silicium demonstrerede Microsoft det porterede Project Brainwave-system, der kører en stor GRU-model - fem gange større end Resnet-50 - uden batching og opnåede rekord-indstilling. Demoen brugte Microsofts brugerdefinerede 8-bit flydende komma-format ("ms-fp8"), som ikke lider af nøjagtighedstab (i gennemsnit) på tværs af en række modeller.

De viste Stratix 10, der holdt 39.5 Teraflops på denne store GRU, og kørte hver anmodning på under et millisekund. På dette ydeevneniveau opretholder Brainwave-arkitekturen udførelse af over 130,000 beregningsoperationer pr. cyklus, drevet af en makro-instruktion, der udsendes hver 10. cyklus. Project Brainwave, der kører på Stratix 10, opnåede hidtil usete niveauer af demonstreret AI-ydeevne i realtid på ekstremt udfordrende modeller, med dagens ydeevne kun et udgangspunkt.

Microsoft planlægger at bringe Project Brainwave til Azure i 2018, så enhver kunde kan få adgang til teknologien, hvilket giver dem mulighed for at køre deres mest komplekse deep learning-modeller med rekordhøj ydeevne og bringe Armageddon et skridt nærmere.

Læs mere om teknologien hos Microsoft her.