La enorme plataforma de IA basada en FPGA de Microsoft logra el procesamiento en tiempo real a escala de centro de datos

Microsoft reveló hoy algo más sobre la tecnología que eventualmente impulsará a los robots que aplastarán nuestros cráneos con sus talones.

Llamada Project Brainwave, la plataforma de inteligencia artificial basada en la nube de Microsoft funciona con las nuevas unidades Stratix 14 FPGA de 10 nm de Intel y puede ofrecer 39.5 Teraflops sostenidos, ejecutando cada solicitud en menos de un milisegundo. Este alto rendimiento y latencia ultrabaja permiten a Microsoft ofrecer IA en tiempo real, que se vuelve cada vez más importante a medida que las infraestructuras en la nube procesan flujos de datos en vivo, ya sean consultas de búsqueda, videos, flujos de sensores o interacciones con los usuarios.

Al conectar FPGA de alto rendimiento directamente a su red de centro de datos, Microsoft puede servir DNN como microservicios de hardware, donde un DNN puede asignarse a un grupo de FPGA remotos y ser llamado por un servidor sin software en el circuito. Esta arquitectura de sistema reduce la latencia, ya que la CPU no necesita procesar las solicitudes entrantes, y permite un rendimiento muy alto, con las solicitudes de procesamiento de FPGA tan rápido como la red puede transmitirlas.

Project Brainwave utiliza una poderosa unidad de procesamiento DNN (o DPU) "suave", sintetizada en FPGA disponibles comercialmente que combina los bloques de procesamiento de señal digital ASIC en los FPGA y la lógica sintetizable para proporcionar un número mayor y más optimizado de unidades funcionales. Usando una serie de técnicas personalizadas, puede lograr un rendimiento comparable o superior a muchos chips DPU codificados.

Para ayudar a los desarrolladores a hacer uso de todo este poder, Project Brainwave incorpora una pila de software diseñada para admitir la amplia gama de marcos de aprendizaje profundo populares. Ya es compatible con Microsoft Cognitive Toolkit y Tensorflow de Google, con planes de admitir muchos otros.

El sistema está diseñado para mostrar un alto rendimiento real en una amplia gama de modelos complejos, con una ejecución sin lotes y puede manejar modelos complejos que requieren mucha memoria, como los LSTM, en tiempo real.

Incluso en el primer silicio Stratix 10, Microsoft demostró el sistema Project Brainwave portado que ejecuta un modelo GRU grande, cinco veces más grande que Resnet-50, sin procesamiento por lotes, y logró un rendimiento récord. La demostración usó el formato de coma flotante de 8 bits personalizado de Microsoft ("ms-fp8"), que no sufre pérdidas de precisión (en promedio) en una variedad de modelos.

Mostraron que Stratix 10 soportaba 39.5 Teraflops en esta gran GRU, ejecutando cada solicitud en menos de un milisegundo. A ese nivel de rendimiento, la arquitectura Brainwave admite la ejecución de más de 130,000 10 operaciones informáticas por ciclo, impulsadas por una macroinstrucción que se emite cada 10 ciclos. Ejecutándose en Stratix XNUMX, Project Brainwave alcanzó niveles sin precedentes de rendimiento demostrado de IA en tiempo real en modelos extremadamente desafiantes, con el rendimiento actual solo como punto de partida.

Microsoft planea llevar Project Brainwave a Azure en 2018 para que cualquier cliente pueda obtener acceso a la tecnología, lo que les permitirá ejecutar sus modelos de aprendizaje profundo más complejos con un rendimiento récord y acercar Armageddon un paso más.

Leer más detalles sobre la tecnología en Microsoft aquí.