Microsoft の大規模な FPGA ベースの AI プラットフォームは、データセンター規模でのリアルタイム処理を実現します

マイクロソフトは本日、頭蓋骨をかかとの下で押しつぶすロボットに最終的に電力を供給するテクノロジーについて、もう少し明らかにしました。

Project Brainwaveと呼ばれるMicrosoftのクラウドベースのAIプラットフォームは、Intelの新しい14 nm Stratix 10 FPGAユニットを搭載しており、39.5ミリ秒未満で各要求を実行する持続的なXNUMXテラフロップスを提供できます。 この高性能と超低遅延により、MicrosoftはリアルタイムAIを提供できます。これは、クラウドインフラストラクチャが、検索クエリ、ビデオ、センサーストリーム、ユーザーとのやり取りなど、ライブデータストリームを処理するにつれてますます重要になっています。

マイクロソフトは、高性能FPGAをデータセンターネットワークに直接接続することで、DNNをハードウェアマイクロサービスとして提供できます。DNNをリモートFPGAのプールにマッピングし、ループ内にソフトウェアがないサーバーから呼び出すことができます。 このシステムアーキテクチャは、CPUが着信要求を処理する必要がないため、レイテンシを削減し、ネットワークがストリーミングできる速度でFPGAが要求を処理することで、非常に高いスループットを実現します。

Project Brainwaveは、FPGA上のASICデジタル信号処理ブロックと合成可能なロジックの両方を組み合わせてより多くの最適化された機能ユニットを提供する市販のFPGAに合成された強力な「ソフト」DNN処理ユニット（またはDPU）を使用します。 多くのカスタム技術を使用して、多くのハードコードされたDPUチップと同等またはそれ以上のパフォーマンスを実現できます。

開発者がこのすべての力を利用できるように、Project Brainwaveには、広く普及しているディープラーニングフレームワークをサポートするように設計されたソフトウェアスタックが組み込まれています。 すでにMicrosoftCognitive ToolkitとGoogleのTensorflowをサポートしており、他にも多くのサポートを計画しています。

このシステムは、バッチフリーで実行できる複雑なモデルの広い範囲で高い実際のパフォーマンスを示すように設計されており、LSTMなどの複雑でメモリを大量に消費するモデルをリアルタイムで処理できます。

初期のStratix10シリコンでも、Microsoftは移植されたProject BrainwaveシステムがResnet-50の8倍の大きなGRUモデルをバッチ処理なしで実行し、記録的なパフォーマンスを達成したことを実証しました。 デモでは、Microsoftのカスタム8ビット浮動小数点形式（「ms-fpXNUMX」）を使用しました。これは、さまざまなモデルで（平均して）精度が低下することはありません。

彼らは、Stratix 10がこの大きなGRUで39.5テラフロップスを維持し、各要求を130,000ミリ秒未満で実行することを示しました。 そのレベルのパフォーマンスでは、Brainwaveアーキテクチャは、10サイクルごとに発行される10つのマクロ命令によって駆動され、サイクルごとにXNUMXを超える計算操作の実行を維持します。 Stratix XNUMXで実行すると、Project Brainwaveは、非常に困難なモデルで前例のないレベルの実証済みのリアルタイムAIパフォーマンスを達成し、今日のパフォーマンスは出発点にすぎません。

マイクロソフトは、2018年にProject BrainwaveをAzureに導入する予定です。これにより、すべての顧客がテクノロジーにアクセスできるようになり、最も複雑なディープラーニングモデルを記録的なパフォーマンスで実行し、Armageddonを一歩近づけることができます。

テクノロジーの詳細を読む ここマイクロソフトで.