Die massive FPGA-basierte KI-Plattform von Microsoft ermöglicht Echtzeitverarbeitung im Rechenzentrumsmaßstab

Microsoft hat heute mehr über die Technologie enthüllt, die letztendlich die Roboter antreiben wird, die unsere Schädel unter ihren Fersen zerquetschen werden.

Die Cloud-basierte KI-Plattform von Microsoft mit dem Namen Project Brainwave wird von den neuen 14-nm-FPGA-Einheiten Stratix 10 von Intel angetrieben und ist in der Lage, dauerhafte 39.5 Teraflops zu liefern, wobei jede Anfrage in weniger als einer Millisekunde ausgeführt wird. Diese hohe Leistung und extrem niedrige Latenz ermöglichen es Microsoft, Echtzeit-KI bereitzustellen, die immer wichtiger wird, da Cloud-Infrastrukturen Live-Datenströme verarbeiten, seien es Suchanfragen, Videos, Sensorstreams oder Interaktionen mit Benutzern.

Durch den direkten Anschluss von Hochleistungs-FPGAs an ihr Rechenzentrumsnetzwerk kann Microsoft DNNs als Hardware-Microservices bereitstellen, bei denen ein DNN einem Pool von Remote-FPGAs zugeordnet und von einem Server ohne Software in der Schleife aufgerufen werden kann. Diese Systemarchitektur reduziert sowohl die Latenz, da die CPU eingehende Anfragen nicht verarbeiten muss, als auch einen sehr hohen Durchsatz, wobei das FPGA Anfragen so schnell verarbeitet, wie das Netzwerk sie streamen kann.

Project Brainwave verwendet eine leistungsstarke „weiche“ DNN-Verarbeitungseinheit (oder DPU), die auf handelsüblichen FPGAs synthetisiert ist und sowohl die ASIC-Digitalsignalverarbeitungsblöcke auf den FPGAs als auch die synthetisierbare Logik kombiniert, um eine größere und optimiertere Anzahl von Funktionseinheiten bereitzustellen. Durch die Verwendung einer Reihe von benutzerdefinierten Techniken kann eine Leistung erreicht werden, die mit der vieler hartcodierter DPU-Chips vergleichbar oder sogar höher ist.

Um Entwicklern dabei zu helfen, all diese Möglichkeiten zu nutzen, enthält Project Brainwave einen Software-Stack, der darauf ausgelegt ist, die breite Palette beliebter Deep-Learning-Frameworks zu unterstützen. Es unterstützt bereits Microsoft Cognitive Toolkit und Googles Tensorflow, mit Plänen, viele andere zu unterstützen.

Das System ist so konzipiert, dass es eine hohe tatsächliche Leistung über ein breites Spektrum komplexer Modelle mit Batch-freier Ausführung zeigt und komplexe, speicherintensive Modelle wie LSTMs in Echtzeit verarbeiten kann.

Sogar auf frühen Stratix 10-Chips demonstrierte Microsoft das portierte Project Brainwave-System, das ein großes GRU-Modell – fünfmal größer als Resnet-50 – ohne Batching ausführte, und erzielte eine rekordverdächtige Leistung. Die Demo verwendete Microsofts benutzerdefiniertes 8-Bit-Gleitkommaformat („ms-fp8“), ​​das bei einer Reihe von Modellen (im Durchschnitt) keine Genauigkeitsverluste erleidet.

Sie zeigten, dass Stratix 10 auf dieser großen GRU 39.5 Teraflops aushielt und jede Anfrage in weniger als einer Millisekunde ausführte. Auf diesem Leistungsniveau hält die Brainwave-Architektur die Ausführung von über 130,000 Rechenoperationen pro Zyklus aufrecht, angetrieben von einer Makroanweisung, die alle 10 Zyklen ausgegeben wird. Auf Stratix 10 ausgeführt, erreichte Project Brainwave ein beispielloses Niveau an demonstrierter Echtzeit-KI-Leistung bei extrem anspruchsvollen Modellen, wobei die heutige Leistung nur ein Ausgangspunkt ist.

Microsoft plant, Project Brainwave 2018 auf Azure zu bringen, damit jeder Kunde Zugriff auf die Technologie erhält, die es ihm ermöglicht, seine komplexesten Deep-Learning-Modelle mit rekordverdächtiger Leistung auszuführen und Armageddon einen Schritt näher zu bringen.

Lesen Sie mehr Details über die Technologie bei Microsoft hier.