Ogromna platforma AI oparta na FPGA firmy Microsoft umożliwia przetwarzanie w czasie rzeczywistym na skalę centrum danych

Microsoft ujawnił dzisiaj nieco więcej na temat technologii, która ostatecznie zasili roboty, które zmiażdżą nasze czaszki pod nogami.

Oparta na chmurze platforma AI Microsoftu, nazwana Project Brainwave, jest zasilana przez nowe 14 nm jednostki FPGA Stratix 10 firmy Intel i jest w stanie dostarczyć 39.5 teraflopów, uruchamiając każde żądanie w czasie poniżej jednej milisekundy. Ta wysoka wydajność i bardzo niskie opóźnienia pozwalają firmie Microsoft dostarczać sztuczną inteligencję w czasie rzeczywistym, która staje się coraz ważniejsza, ponieważ infrastruktury chmurowe przetwarzają strumienie danych na żywo, niezależnie od tego, czy są to zapytania wyszukiwania, filmy, strumienie czujników czy interakcje z użytkownikami.

Podłączając wysokowydajne układy FPGA bezpośrednio do sieci centrum danych, firma Microsoft może obsługiwać DNN jako sprzętowe mikrousługi, w których DNN może być mapowany na pulę zdalnych układów FPGA i wywoływany przez serwer bez żadnego oprogramowania w pętli. Ta architektura systemu zarówno zmniejsza opóźnienia, ponieważ procesor nie musi przetwarzać przychodzących żądań, jak i umożliwia bardzo wysoką przepustowość, przy przetwarzaniu żądań FPGA tak szybko, jak sieć może je przesyłać strumieniowo.

Project Brainwave wykorzystuje potężną „miękką” jednostkę przetwarzającą DNN (lub DPU), zsyntetyzowaną na dostępnych na rynku FPGA, która łączy zarówno bloki przetwarzania sygnału cyfrowego ASIC na FPGA, jak i logikę, którą można syntezować, aby zapewnić większą i bardziej zoptymalizowaną liczbę jednostek funkcjonalnych. Korzystając z wielu niestandardowych technik, może osiągnąć wydajność porównywalną lub wyższą niż wiele zakodowanych na sztywno chipów DPU.

Aby pomóc programistom w wykorzystaniu całej tej mocy, Project Brainwave zawiera stos oprogramowania zaprojektowany do obsługi szerokiej gamy popularnych platform uczenia głębokiego. Obsługuje już Microsoft Cognitive Toolkit i Google Tensorflow, z planami obsługi wielu innych.

System został zaprojektowany tak, aby wykazywać wysoką rzeczywistą wydajność w szerokim zakresie złożonych modeli, z wykonywaniem bez wsadów i może obsługiwać w czasie rzeczywistym złożone modele intensywnie korzystające z pamięci, takie jak LSTM.

Nawet na wczesnym krzemie Stratix 10 Microsoft zademonstrował przeniesiony system Project Brainwave z dużym modelem GRU — pięć razy większym niż Resnet-50 — bez grupowania i osiągnął rekordową wydajność. W demonstracji wykorzystano niestandardowy 8-bitowy format zmiennoprzecinkowy firmy Microsoft („ms-fp8”), który nie powoduje utraty dokładności (średnio) w różnych modelach.

Pokazali Stratix 10 utrzymujący 39.5 teraflopów na tym dużym GRU, uruchamiając każde żądanie w czasie poniżej jednej milisekundy. Na tym poziomie wydajności architektura Brainwave umożliwia wykonywanie ponad 130,000 10 operacji obliczeniowych na cykl, napędzanych jedną makroinstrukcją wydawaną co 10 cykli. Działając na Stratix XNUMX, Project Brainwave osiągnął bezprecedensowy poziom zademonstrowanej wydajności AI w czasie rzeczywistym w niezwykle wymagających modelach, a dzisiejsza wydajność to tylko punkt wyjścia.

Firma Microsoft planuje wprowadzić Project Brainwave na platformę Azure w 2018 r., aby każdy klient mógł uzyskać dostęp do technologii, co pozwoli im uruchamiać najbardziej złożone modele uczenia głębokiego z rekordową wydajnością i przybliżyć Armageddon o jeden krok.

Przeczytaj więcej szczegółów na temat technologii w Microsoft tutaj.