Platforma IA masivă bazată pe FPGA a Microsoft realizează procesarea în timp real la scara centrului de date

Microsoft a dezvăluit astăzi câteva mai multe despre tehnologia care va alimenta în cele din urmă roboții care ne vor zdrobi craniile sub călcâiele lor.

Denumită Project Brainwave, platforma AI bazată pe cloud a Microsoft este alimentată de noile unități Intel Stratix 14 FPGA de 10 nm și sunt capabile să furnizeze 39.5 Teraflops, rulând fiecare cerere în mai puțin de o milisecundă. Această performanță ridicată și latența ultra-scăzută îi permit lui Microsoft să ofere IA în timp real, care devine din ce în ce mai importantă pe măsură ce infrastructurile cloud procesează fluxuri de date în direct, fie că sunt interogări de căutare, videoclipuri, fluxuri de senzori sau interacțiuni cu utilizatorii.

Atașând FPGA-uri de înaltă performanță direct la rețeaua centrului de date, Microsoft poate servi DNN-uri ca microservicii hardware, unde un DNN poate fi mapat la un grup de FPGA la distanță și apelat de un server fără software în buclă. Această arhitectură de sistem reduce atât latența, deoarece CPU-ul nu trebuie să proceseze cererile primite, cât și permite un debit foarte mare, cu cererile de procesare FPGA la fel de rapid pe cât le poate transmite rețeaua.

Proiectul Brainwave folosește o unitate de procesare DNN (sau DPU) „soft” puternică, sintetizată pe FPGA-uri disponibile comercial, care combină atât blocurile de procesare a semnalului digital ASIC de pe FPGA-uri, cât și logica sintetizabilă pentru a oferi un număr mai mare și mai optimizat de unități funcționale. Folosind o serie de tehnici personalizate, poate obține performanțe comparabile cu – sau mai mari decât – multe cipuri DPU codificate.

Pentru a ajuta dezvoltatorii să folosească toată această putere, Project Brainwave încorporează o stivă de software concepută pentru a susține o gamă largă de cadre populare de deep learning. Acesta acceptă deja Microsoft Cognitive Toolkit și Tensorflow de la Google, cu planuri de a sprijini multe altele.

Sistemul este proiectat pentru a prezenta o performanță reală ridicată într-o gamă largă de modele complexe, cu execuție fără loturi și poate gestiona modele complexe, care necesită multă memorie, cum ar fi LSTM-urile în timp real.

Chiar și pe siliciul Stratix 10 timpuriu, Microsoft a demonstrat sistemul portat Project Brainwave care rulează un model GRU mare – de cinci ori mai mare decât Resnet-50 – fără loturi și a atins performanțe record. Demo-ul a folosit formatul personalizat de 8 biți în virgulă mobilă Microsoft („ms-fp8”), care nu suferă pierderi de precizie (în medie) într-o serie de modele.

Ei au arătat că Stratix 10 susține 39.5 Teraflops pe acest GRU mare, rulând fiecare cerere în mai puțin de o milisecundă. La acel nivel de performanță, arhitectura Brainwave susține execuția a peste 130,000 de operații de calcul pe ciclu, conduse de o macro-instrucțiune care este emisă la fiecare 10 cicluri. Funcționând pe Stratix 10, Project Brainwave a atins niveluri fără precedent de performanță demonstrată în timp real a AI pe modele extrem de provocatoare, performanța de astăzi fiind doar un punct de plecare.

Microsoft intenționează să aducă Project Brainwave la Azure în 2018, astfel încât orice client să poată obține acces la tehnologie, permițându-le să ruleze cele mai complexe modele de deep learning la performanțe record și să aducă Armageddonul cu un pas mai aproape.

Citiți mai multe detalii despre tehnologie la Microsoft aici.