Масивна платформа штучного інтелекту Microsoft на основі FPGA забезпечує обробку в реальному часі в масштабі центру обробки даних

Сьогодні Microsoft розкрила ще дещо про технологію, яка в кінцевому підсумку почне працювати над роботами, які розчавлять наші черепи під п’ятами.

Хмарна AI-платформа Microsoft під назвою Project Brainwave працює на основі нових 14 нм FPGA Stratix 10 від Intel і здатна забезпечити стабільну швидкість 39.5 терафлопс, виконуючи кожен запит менше ніж за одну мілісекунду. Ця висока продуктивність і наднизька затримка дозволяють Microsoft забезпечувати штучний інтелект у реальному часі, який стає все більш важливим, оскільки хмарні інфраструктури обробляють потоки даних в реальному часі, будь то пошукові запити, відео, потоки датчиків або взаємодії з користувачами.

Підключаючи високопродуктивні FPGA безпосередньо до своєї мережі центрів обробки даних, Microsoft може служити DNN як апаратні мікросервіси, де DNN можна зіставити з пулом віддалених FPGA і викликати сервер без програмного забезпечення в циклі. Ця архітектура системи одночасно зменшує затримку, оскільки ЦП не потребує обробки вхідних запитів, і забезпечує дуже високу пропускну здатність, а запити FPGA обробляють настільки швидко, наскільки мережа може їх передавати.

Project Brainwave використовує потужний «м’який» блок обробки DNN (або DPU), синтезований на комерційно доступних FPGA, який поєднує як блоки цифрової обробки сигналів ASIC на FPGA, так і синтезовану логіку для забезпечення більшої та оптимізованої кількості функціональних блоків. Використовуючи ряд користувацьких методів, він може досягти продуктивності, порівнянної з багатьма жорстко закодованими чіпами DPU або більшою за них.

Щоб допомогти розробникам використовувати всю цю потужність, Project Brainwave включає в себе програмний стек, розроблений для підтримки широкого спектру популярних фреймворків глибокого навчання. Він уже підтримує Microsoft Cognitive Toolkit і Tensorflow від Google, а також планує підтримувати багато інших.

Система розроблена таким чином, щоб демонструвати високу фактичну продуктивність у широкому діапазоні складних моделей з безпакетним виконанням і може працювати зі складними моделями, які інтенсивно витрачають пам’ять, такими як LSTM, в режимі реального часу.

Навіть на ранньому Stratix 10 Silicon Microsoft продемонструвала портовану систему Project Brainwave з великою моделлю GRU — у п’ять разів більшою, ніж Resnet-50 — без пакетної обробки, і досягла рекордної продуктивності. У демонстрації використовувався користувальницький 8-розрядний формат з плаваючою комою ("ms-fp8") від Microsoft, який не зазнає втрат точності (в середньому) у ряді моделей.

Вони показали, що Stratix 10 підтримує 39.5 терафлопс на цьому великому GRU, виконуючи кожен запит менше ніж за одну мілісекунду. На такому рівні продуктивності архітектура Brainwave підтримує виконання понад 130,000 10 обчислювальних операцій за цикл, керуючись однією макро-інструкцією, що видається кожні 10 циклів. Працюючи на Stratix XNUMX, Project Brainwave досяг безпрецедентного рівня продемонстрованої продуктивності штучного інтелекту в режимі реального часу на надзвичайно складних моделях, а сьогоднішня продуктивність — лише відправна точка.

Microsoft планує перенести Project Brainwave в Azure у 2018 році, щоб будь-який клієнт міг отримати доступ до технології, що дозволить їм запускати свої найскладніші моделі глибокого навчання з рекордною продуктивністю та наблизити Армагеддон на крок ближче.

Детальніше про технологію читайте тут.