微軟基於FPGA的海量AI平台實現資料中心規模的即時處理

微軟今天透露了更多關於這項技術的信息，該技術最終將為機器人提供動力，這些機器人將壓碎我們的頭骨。

微軟基於雲的 AI 平台名為 Project Brainwave，由英特爾新的 14 nm Stratix 10 FPGA 單元提供支持，能夠提供持續的 39.5 Teraflops，在 XNUMX 毫秒內運行每個請求。 這種高性能和超低延遲讓微軟能夠提供實時人工智能，隨著雲基礎設施處理實時數據流（無論是搜索查詢、視頻、傳感器流還是與用戶的交互），這一點變得越來越重要。

通過將高性能 FPGA 直接連接到他們的數據中心網絡，微軟可以將 DNN 用作硬件微服務，其中 DNN 可以映射到遠程 FPGA 池並由循環中沒有軟件的服務器調用。 這種系統架構既減少了延遲，因為 CPU 不需要處理傳入的請求，又允許非常高的吞吐量，FPGA 處理請求的速度與網絡可以流式傳輸的速度一樣快。

Project Brainwave 使用強大的“軟”DNN 處理單元（或 DPU），合成到商用 FPGA 上，結合 FPGA 上的 ASIC 數字信號處理模塊和可合成邏輯，以提供更多和更優化的功能單元數量。 使用多種定制技術，它可以實現與許多硬編碼 DPU 芯片相當或更高的性能。

為了幫助開發人員利用所有這些強大功能，Project Brainwave 集成了一個軟件堆棧，旨在支持廣泛的流行深度學習框架。 它已經支持 Microsoft Cognitive Toolkit 和 Google 的 Tensorflow，併計劃支持許多其他工具。

該系統的架構旨在在各種複雜模型中顯示出高實際性能，具有無批處理執行，並且可以實時處理複雜的內存密集型模型，例如 LSTM。

即使在早期的 Stratix 10 芯片上，微軟也展示了移植的 Project Brainwave 系統，該系統運行一個大型 GRU 模型——比 Resnet-50 大五倍——沒有批處理，並取得了創紀錄的性能。 該演示使用 Microsoft 的自定義 8 位浮點格式 (“ms-fp8”)，該格式在一系列模型中不會遭受（平均）精度損失。

他們展示了 Stratix 10 在這個大型 GRU 上維持 39.5 Teraflops，在不到一毫秒的時間內運行每個請求。 在這樣的性能水平上，Brainwave 架構每個週期可以執行超過 130,000 次計算操作，由每 10 個週期發出一個宏指令驅動。 Project Brainwave 在 Stratix 10 上運行，在極具挑戰性的模型上實現了前所未有的實時 AI 性能水平，而今天的性能只是一個起點。

微軟計劃在 2018 年將 Project Brainwave 引入 Azure，這樣任何客戶都可以使用該技術，讓他們能夠以創紀錄的性能運行最複雜的深度學習模型，並讓世界末日更近一步。

閱讀有關該技術的更多詳細信息 在微軟這裡.