L'immense plateforme d'IA basée sur FPGA de Microsoft permet un traitement en temps réel à l'échelle du centre de données

Microsoft a révélé aujourd'hui un peu plus sur la technologie qui alimentera éventuellement les robots qui écraseront nos crânes sous leurs talons.

Appelée Project Brainwave, la plate-forme d'IA basée sur le cloud de Microsoft est alimentée par les nouvelles unités FPGA Stratix 14 10 nm d'Intel et est capable de fournir un maintien de 39.5 téraflops, exécutant chaque demande en moins d'une milliseconde. Ces performances élevées et cette latence ultra-faible permettent à Microsoft de fournir une IA en temps réel qui devient de plus en plus importante à mesure que les infrastructures cloud traitent des flux de données en direct, qu'il s'agisse de requêtes de recherche, de vidéos, de flux de capteurs ou d'interactions avec les utilisateurs.

En attachant des FPGA hautes performances directement à leur réseau de centre de données, Microsoft peut servir les DNN en tant que microservices matériels, où un DNN peut être mappé à un pool de FPGA distants et appelé par un serveur sans logiciel dans la boucle. Cette architecture système réduit à la fois la latence, puisque le processeur n'a pas besoin de traiter les requêtes entrantes, et permet un débit très élevé, le FPGA traitant les requêtes aussi rapidement que le réseau peut les diffuser.

Le projet Brainwave utilise une puissante unité de traitement DNN "soft" (ou DPU), synthétisée sur des FPGA disponibles dans le commerce qui combine à la fois les blocs de traitement de signal numérique ASIC sur les FPGA et la logique synthétisable pour fournir un nombre plus important et plus optimisé d'unités fonctionnelles. En utilisant un certain nombre de techniques personnalisées, il peut atteindre des performances comparables - ou supérieures - à de nombreuses puces DPU codées en dur.

Pour aider les développeurs à utiliser toute cette puissance, Project Brainwave intègre une pile logicielle conçue pour prendre en charge le large éventail de cadres d'apprentissage en profondeur populaires. Il prend déjà en charge Microsoft Cognitive Toolkit et Tensorflow de Google, avec des plans pour en prendre en charge de nombreux autres.

Le système est conçu pour afficher des performances réelles élevées sur une large gamme de modèles complexes, avec une exécution sans lot et peut gérer des modèles complexes et gourmands en mémoire tels que les LSTM en temps réel.

Même sur le premier silicium Stratix 10, Microsoft a fait la démonstration du système Project Brainwave porté exécutant un grand modèle GRU - cinq fois plus grand que Resnet-50 - sans traitement par lots et a atteint des performances record. La démo utilisait le format à virgule flottante 8 bits personnalisé de Microsoft ("ms-fp8"), qui ne subit pas de pertes de précision (en moyenne) sur une gamme de modèles.

Ils ont montré Stratix 10 supportant 39.5 téraflops sur ce grand GRU, exécutant chaque requête en moins d'une milliseconde. À ce niveau de performance, l'architecture Brainwave soutient l'exécution de plus de 130,000 10 opérations de calcul par cycle, pilotées par une macro-instruction émise tous les 10 cycles. Fonctionnant sur Stratix XNUMX, Project Brainwave a atteint des niveaux sans précédent de performances d'IA en temps réel démontrées sur des modèles extrêmement difficiles, les performances d'aujourd'hui n'étant qu'un point de départ.

Microsoft prévoit d'apporter Project Brainwave à Azure en 2018 afin que tout client puisse accéder à la technologie, leur permettant d'exécuter leurs modèles d'apprentissage en profondeur les plus complexes à des performances record et de rapprocher Armageddon.

En savoir plus sur la technologie chez Microsoft ici.