L'enorme piattaforma AI basata su FPGA di Microsoft consente l'elaborazione in tempo reale su scala di data center

Microsoft oggi ha rivelato qualcosa in più sulla tecnologia che alla fine alimenterà i robot che schiacceranno i nostri crani sotto i loro talloni.

Chiamata Project Brainwave, la piattaforma di intelligenza artificiale basata su cloud di Microsoft è alimentata dalle nuove unità Intel Stratix 14 FPGA a 10 nm e sono in grado di fornire 39.5 teraflop di sostegno, eseguendo ciascuna richiesta in meno di un millisecondo. Queste prestazioni elevate e la latenza ultrabassa consentono a Microsoft di fornire un'intelligenza artificiale in tempo reale che sta diventando sempre più importante man mano che le infrastrutture cloud elaborano flussi di dati in tempo reale, che si tratti di query di ricerca, video, flussi di sensori o interazioni con gli utenti.

Collegando FPGA ad alte prestazioni direttamente alla propria rete di data center, Microsoft può servire i DNN come microservizi hardware, in cui un DNN può essere mappato a un pool di FPGA remoti e chiamato da un server senza software in loop. Questa architettura di sistema riduce la latenza, poiché la CPU non ha bisogno di elaborare le richieste in entrata, e consente un throughput molto elevato, con l'FPGA che elabora le richieste alla velocità con cui la rete può trasmetterle in streaming.

Project Brainwave utilizza una potente unità di elaborazione DNN (o DPU) "soft", sintetizzata su FPGA disponibili in commercio che combina sia i blocchi di elaborazione del segnale digitale ASIC sugli FPGA che la logica sintetizzabile per fornire un numero maggiore e più ottimizzato di unità funzionali. Utilizzando una serie di tecniche personalizzate, è possibile ottenere prestazioni paragonabili o superiori a molti chip DPU hardcoded.

Per aiutare gli sviluppatori a sfruttare tutta questa potenza, Project Brainwave incorpora uno stack software progettato per supportare l'ampia gamma di framework di deep learning più diffusi. Supporta già Microsoft Cognitive Toolkit e Tensorflow di Google, con piani per supportarne molti altri.

Il sistema è progettato per mostrare prestazioni effettive elevate su un'ampia gamma di modelli complessi, con esecuzione senza batch ed è in grado di gestire modelli complessi e ad alta intensità di memoria come gli LSTM in tempo reale.

Anche sul primo silicio Stratix 10, Microsoft ha dimostrato il sistema Project Brainwave portato che esegue un modello GRU di grandi dimensioni, cinque volte più grande di Resnet-50, senza batch e ha raggiunto prestazioni da record. La demo utilizzava il formato a virgola mobile a 8 bit personalizzato di Microsoft ("ms-fp8"), che non subisce perdite di precisione (in media) su una vasta gamma di modelli.

Hanno mostrato che Stratix 10 sosteneva 39.5 Teraflop su questo grande GRU, eseguendo ogni richiesta in meno di un millisecondo. A quel livello di prestazioni, l'architettura Brainwave supporta l'esecuzione di oltre 130,000 operazioni di calcolo per ciclo, guidate dall'emissione di una macroistruzione ogni 10 cicli. In esecuzione su Stratix 10, Project Brainwave ha raggiunto livelli senza precedenti di dimostrate prestazioni di intelligenza artificiale in tempo reale su modelli estremamente impegnativi, con le prestazioni di oggi solo un punto di partenza.

Microsoft prevede di portare Project Brainwave in Azure nel 2018 in modo che qualsiasi cliente possa accedere alla tecnologia, consentendo loro di eseguire i loro modelli di deep learning più complessi con prestazioni da record e avvicinare Armageddon un passo avanti.

Leggi maggiori dettagli sulla tecnologia a Microsoft qui.