Nền tảng AI dựa trên FPGA khổng lồ của Microsoft đạt được khả năng xử lý thời gian thực ở quy mô trung tâm dữ liệu

Microsoft hôm nay đã tiết lộ một số chi tiết về công nghệ cuối cùng sẽ cung cấp năng lượng cho các robot sẽ nghiền nát hộp sọ của chúng ta bên dưới gót chân của chúng.

Được gọi là Project Brainwave, nền tảng AI dựa trên đám mây của Microsoft được cung cấp bởi các đơn vị FPGA 14 nm Stratix 10 mới của Intel và có thể cung cấp 39.5 Teraflop duy trì, chạy mỗi yêu cầu trong dưới một phần nghìn giây. Hiệu suất cao và độ trễ cực thấp này cho phép Microsoft cung cấp AI theo thời gian thực ngày càng trở nên quan trọng khi cơ sở hạ tầng đám mây xử lý các luồng dữ liệu trực tiếp, cho dù đó là truy vấn tìm kiếm, video, luồng cảm biến hay tương tác với người dùng.

Bằng cách gắn trực tiếp các FPGA hiệu suất cao vào mạng trung tâm dữ liệu của họ, Microsoft có thể phục vụ DNN như các dịch vụ vi phần cứng, trong đó DNN có thể được ánh xạ tới một nhóm các FPGA từ xa và được gọi bởi một máy chủ không có phần mềm trong vòng lặp. Kiến trúc hệ thống này vừa làm giảm độ trễ, vì CPU không cần xử lý các yêu cầu đến, vừa cho phép thông lượng rất cao, với các yêu cầu xử lý FPGA nhanh như mạng có thể truyền chúng.

Project Brainwave sử dụng đơn vị xử lý DNN “mềm” mạnh mẽ (hoặc DPU), được tổng hợp trên các FPGA có sẵn trên thị trường, kết hợp cả khối xử lý tín hiệu kỹ thuật số ASIC trên FPGA và logic tổng hợp để cung cấp số lượng đơn vị chức năng lớn hơn và tối ưu hơn. Sử dụng một số kỹ thuật tùy chỉnh, nó có thể đạt được hiệu suất tương đương - hoặc cao hơn - nhiều chip DPU được mã hóa cứng.

Để giúp các nhà phát triển tận dụng tất cả sức mạnh này, Project Brainwave kết hợp một ngăn xếp phần mềm được thiết kế để hỗ trợ một loạt các khuôn khổ học sâu phổ biến. Nó đã hỗ trợ Bộ công cụ nhận thức của Microsoft và Tensorflow của Google, với kế hoạch hỗ trợ nhiều người khác.

Hệ thống được kiến ​​trúc để hiển thị hiệu suất thực tế cao trên một loạt các mô hình phức tạp, với khả năng thực thi miễn phí hàng loạt và có thể xử lý các mô hình phức tạp, tốn nhiều bộ nhớ như LSTM trong thời gian thực.

Ngay cả trên silicon Stratix 10 đời đầu, Microsoft đã trình diễn hệ thống Project Brainwave được chuyển đổi chạy một mô hình GRU lớn — lớn hơn Resnet-50 năm lần — mà không cần phân phối và đạt được hiệu suất thiết lập kỷ lục. Bản demo đã sử dụng định dạng dấu phẩy động 8-bit tùy chỉnh của Microsoft (“ms-fp8”), định dạng này không bị mất độ chính xác (trung bình) trên một loạt các kiểu máy.

Họ cho thấy Stratix 10 duy trì 39.5 Teraflop trên GRU lớn này, chạy mỗi yêu cầu trong dưới một phần nghìn giây. Ở mức hiệu suất đó, kiến ​​trúc Brainwave duy trì việc thực thi hơn 130,000 hoạt động tính toán mỗi chu kỳ, được thúc đẩy bởi một lệnh macro được ban hành mỗi 10 chu kỳ. Chạy trên Stratix 10, Project Brainwave đã đạt được mức hiệu suất AI thời gian thực chưa từng có trên các mô hình cực kỳ khó khăn, với hiệu suất ngày hôm nay mới chỉ là điểm khởi đầu.

Microsoft có kế hoạch đưa Project Brainwave vào Azure vào năm 2018 để bất kỳ khách hàng nào cũng có thể tiếp cận công nghệ, cho phép họ chạy các mô hình học sâu phức tạp nhất của họ với hiệu suất thiết lập kỷ lục và đưa Armageddon đến gần hơn một bước.

Đọc thêm chi tiết về công nghệ tại Microsoft tại đây.