Массивная платформа искусственного интеллекта на базе FPGA от Microsoft обеспечивает обработку в реальном времени в масштабе центра обработки данных.

Microsoft сегодня рассказала кое-что еще о технологии, которая в конечном итоге приведет в действие роботов, которые раздавят наши черепа своими каблуками.

Облачная платформа искусственного интеллекта Microsoft, получившая название Project Brainwave, основана на новых 14-нм процессорах Intel Stratix 10 FPGA и способна обеспечить стабильную производительность 39.5 терафлопс, выполняя каждый запрос менее чем за одну миллисекунду. Эта высокая производительность и сверхнизкая задержка позволяют Microsoft предоставлять ИИ в реальном времени, который становится все более важным по мере того, как облачные инфраструктуры обрабатывают потоки данных в реальном времени, будь то поисковые запросы, видео, потоки датчиков или взаимодействия с пользователями.

Подключая высокопроизводительные FPGA непосредственно к сети своего центра обработки данных, Microsoft может использовать DNN в качестве аппаратных микросервисов, где DNN может быть сопоставлен с пулом удаленных FPGA и вызываться сервером без программного обеспечения в цикле. Эта системная архитектура уменьшает задержку, поскольку ЦП не нужно обрабатывать входящие запросы, и обеспечивает очень высокую пропускную способность, при этом запросы обрабатываются ПЛИС так быстро, как сеть может их передавать.

Project Brainwave использует мощный «мягкий» блок обработки DNN (или DPU), синтезированный на коммерчески доступных FPGA, который сочетает в себе как блоки цифровой обработки сигналов ASIC на FPGA, так и синтезируемую логику, чтобы обеспечить большее и более оптимизированное количество функциональных блоков. Используя ряд пользовательских методов, он может достичь производительности, сравнимой или превышающей многие жестко запрограммированные микросхемы DPU.

Чтобы помочь разработчикам использовать всю эту мощь, Project Brainwave включает программный стек, предназначенный для поддержки широкого спектра популярных сред глубокого обучения. Он уже поддерживает Microsoft Cognitive Toolkit и Google Tensorflow, а также планирует поддерживать многие другие.

Система спроектирована таким образом, чтобы демонстрировать высокую реальную производительность в широком диапазоне сложных моделей с безпакетным выполнением и может обрабатывать сложные модели с интенсивным использованием памяти, такие как LSTM, в режиме реального времени.

Даже на раннем кристалле Stratix 10 Microsoft продемонстрировала портированную систему Project Brainwave, работающую на большой модели GRU — в пять раз больше, чем Resnet-50 — без пакетной обработки, и добилась рекордной производительности. В демонстрации использовался специальный 8-битный формат с плавающей запятой Microsoft («ms-fp8»), который не страдает от потери точности (в среднем) для ряда моделей.

Они показали, что Stratix 10 выдерживает 39.5 терафлопс на этом большом GRU, выполняя каждый запрос менее чем за одну миллисекунду. При таком уровне производительности архитектура Brainwave поддерживает выполнение более 130,000 10 вычислительных операций за цикл, управляемых одной макрокомандой, выдаваемой каждые 10 циклов. Работая на Stratix XNUMX, Project Brainwave достиг беспрецедентного уровня продемонстрированной производительности ИИ в реальном времени на чрезвычайно сложных моделях, при этом сегодняшняя производительность является лишь отправной точкой.

Microsoft планирует перенести Project Brainwave в Azure в 2018 году, чтобы любой клиент мог получить доступ к этой технологии, позволяющей им запускать свои самые сложные модели глубокого обучения с рекордной производительностью и приблизить Армагеддон на один шаг.

Подробнее о технологии читайте в Microsoft здесь.