Microsoftova masivna AI platforma temeljena na FPGA postiže obradu u stvarnom vremenu na razini podatkovnog centra

Microsoft je danas otkrio nešto više o tehnologiji koja će na kraju pokretati robote koji će nam smrskati lubanje pod petama.

Nazvana Project Brainwave, Microsoftova AI platforma temeljena na oblaku pokreće Intelove nove 14 nm Stratix 10 FPGA jedinice i mogu isporučiti održivih 39.5 teraflopsa, izvršavajući svaki zahtjev za manje od jedne milisekunde. Ova visoka izvedba i ultra-niska latencija omogućuju Microsoftu isporuku umjetne inteligencije u stvarnom vremenu koja postaje sve važnija kako infrastruktura oblaka obrađuje tokove podataka uživo, bilo da se radi o upitima za pretraživanje, videozapisima, streamovima senzora ili interakcijama s korisnicima.

Povezivanjem FPGA visokih performansi izravno na njihovu mrežu podatkovnih centara, Microsoft može poslužiti DNN-ove kao hardverske mikrousluge, gdje se DNN može mapirati u skup udaljenih FPGA-a i pozvati od strane poslužitelja bez softvera u petlji. Ova arhitektura sustava istovremeno smanjuje kašnjenje, budući da CPU ne treba obraditi dolazne zahtjeve, i omogućuje vrlo visoku propusnost, s FPGA procesiranjem zahtjeva onoliko brzo koliko ih mreža može strujati.

Project Brainwave koristi moćnu "meku" DNN procesorsku jedinicu (ili DPU), sintetiziranu na komercijalno dostupnim FPGA-ima koja kombinira i ASIC blokove za digitalnu obradu signala na FPGA-ima i logiku koja se može sintetizirati kako bi se osigurao veći i optimiziraniji broj funkcionalnih jedinica. Koristeći niz prilagođenih tehnika može postići performanse usporedive – ili veće od – mnogih tvrdo kodiranih DPU čipova.

Kako bi pomogao razvojnim programerima da iskoriste svu ovu snagu, Project Brainwave uključuje softverski stog dizajniran za podršku širokom rasponu popularnih okvira za duboko učenje. Već podržava Microsoft Cognitive Toolkit i Googleov Tensorflow, s planovima za podršku mnogim drugima.

Sustav je projektiran tako da pokaže visoke stvarne performanse u širokom rasponu složenih modela, s izvođenjem bez serije i može rukovati složenim, memorijsko intenzivnim modelima kao što su LSTM u stvarnom vremenu.

Čak i na ranom Stratix 10 siliciju, Microsoft je demonstrirao portirani sustav Project Brainwave koji pokreće veliki GRU model—pet puta veći od Resnet-50—bez batching-a i postigao rekordne performanse. Demo je koristio Microsoftov prilagođeni 8-bitni format s pomičnim zarezom (“ms-fp8”), koji ne trpi gubitke u točnosti (u prosjeku) na nizu modela.

Pokazali su kako Stratix 10 održava 39.5 teraflopa na ovom velikom GRU-u, izvodeći svaki zahtjev za manje od jedne milisekundi. Na toj razini izvedbe, arhitektura Brainwavea podržava izvođenje više od 130,000 računalnih operacija po ciklusu, pokretano jednom makro-instrukcijom koja se izdaje svakih 10 ciklusa. Radeći na Stratixu 10, Project Brainwave postigao je neviđene razine demonstriranih AI performansi u stvarnom vremenu na iznimno izazovnim modelima, s današnjim performansama samo početnom točkom.

Microsoft planira dovesti Project Brainwave na Azure 2018. kako bi svaki korisnik mogao dobiti pristup tehnologiji, dopuštajući im pokretanje svojih najsloženijih modela dubokog učenja uz rekordne performanse i približiti Armageddon korak bliže.

Pročitajte više detalja o tehnologiji ovdje u Microsoftu.