Het enorme op FPGA gebaseerde AI-platform van Microsoft maakt realtime verwerking op datacenterschaal mogelijk

Microsoft heeft vandaag wat meer onthuld over de technologie die uiteindelijk de robots zal aandrijven die onze schedels onder hun hielen zullen verpletteren.

Het op de cloud gebaseerde AI-platform van Microsoft, Project Brainwave genaamd, wordt aangedreven door Intel's nieuwe 14 nm Stratix 10 FPGA-eenheden en kan een duurzame 39.5 Teraflops leveren, waarbij elk verzoek in minder dan één milliseconde wordt uitgevoerd. Dankzij deze hoge prestaties en ultralage latentie kan Microsoft realtime AI leveren, wat steeds belangrijker wordt naarmate cloudinfrastructuren live datastreams verwerken, of het nu zoekopdrachten, video's, sensorstreams of interacties met gebruikers zijn.

Door krachtige FPGA's rechtstreeks aan hun datacenternetwerk te koppelen, kan Microsoft DNN's dienen als hardware-microservices, waarbij een DNN kan worden toegewezen aan een pool van externe FPGA's en kan worden aangeroepen door een server zonder software in de lus. Deze systeemarchitectuur vermindert zowel de latentie, aangezien de CPU geen inkomende verzoeken hoeft te verwerken, en maakt een zeer hoge doorvoer mogelijk, waarbij de FPGA-verzoeken zo snel worden verwerkt als het netwerk ze kan streamen.

Project Brainwave gebruikt een krachtige "zachte" DNN-verwerkingseenheid (of DPU), gesynthetiseerd op commercieel verkrijgbare FPGA's die zowel de ASIC digitale signaalverwerkingsblokken op de FPGA's en de synthetiseerbare logica combineert om een ​​groter en meer geoptimaliseerd aantal functionele eenheden te bieden. Met behulp van een aantal aangepaste technieken kan het prestaties bereiken die vergelijkbaar zijn met - of beter zijn dan - veel hardgecodeerde DPU-chips.

Om ontwikkelaars te helpen gebruik te maken van al deze kracht, bevat Project Brainwave een softwarestack die is ontworpen om het brede scala aan populaire deep learning-frameworks te ondersteunen. Het ondersteunt al Microsoft Cognitive Toolkit en Google's Tensorflow, met plannen om vele anderen te ondersteunen.

Het systeem is ontworpen om hoge werkelijke prestaties te tonen voor een breed scala aan complexe modellen, met batchvrije uitvoering en kan complexe, geheugenintensieve modellen zoals LSTM's in realtime aan.

Zelfs op het vroege Stratix 10 silicium demonstreerde Microsoft het geporteerde Project Brainwave-systeem met een groot GRU-model - vijf keer groter dan Resnet-50 - zonder batching, en behaalde recordprestaties. De demo maakte gebruik van het aangepaste 8-bits drijvende-kommaformaat ("ms-fp8") van Microsoft, dat (gemiddeld) geen nauwkeurigheidsverlies lijdt bij een reeks modellen.

Ze lieten Stratix 10 39.5 Teraflops ondersteunen op deze grote GRU, waarbij elk verzoek in minder dan één milliseconde werd uitgevoerd. Op dat prestatieniveau ondersteunt de Brainwave-architectuur de uitvoering van meer dan 130,000 rekenbewerkingen per cyclus, aangedreven door één macro-instructie die elke 10 cycli wordt gegeven. Project Brainwave draaide op Stratix 10 en bereikte ongekende niveaus van gedemonstreerde realtime AI-prestaties op extreem uitdagende modellen, met de prestaties van vandaag slechts een startpunt.

Microsoft is van plan om Project Brainwave in 2018 naar Azure te brengen, zodat elke klant toegang kan krijgen tot de technologie, zodat ze hun meest complexe deep learning-modellen kunnen uitvoeren met recordprestaties en Armageddon een stap dichterbij kan komen.

Lees meer details over de technologie bij Microsoft hier.