Platform AI besar berbasis FPGA milik Microsoft mencapai pemrosesan real-time pada skala pusat data

Microsoft hari ini mengungkapkan lebih banyak tentang teknologi yang pada akhirnya akan menggerakkan robot yang akan menghancurkan tengkorak kita di bawah tumit mereka.

Disebut Project Brainwave, platform AI berbasis cloud Microsoft didukung oleh unit 14 nm Stratix 10 FPGA Intel yang baru dan mampu memberikan 39.5 Teraflops yang berkelanjutan, menjalankan setiap permintaan dalam waktu kurang dari satu milidetik. Performa tinggi dan latensi sangat rendah ini memungkinkan Microsoft menghadirkan AI real-time yang menjadi semakin penting karena infrastruktur cloud memproses aliran data langsung, baik berupa kueri penelusuran, video, aliran sensor, atau interaksi dengan pengguna.

Dengan melampirkan FPGA berkinerja tinggi langsung ke jaringan pusat data mereka, Microsoft dapat melayani DNN sebagai layanan mikro perangkat keras, di mana DNN dapat dipetakan ke kumpulan FPGA jarak jauh dan dipanggil oleh server tanpa perangkat lunak dalam loop. Arsitektur sistem ini mengurangi latensi, karena CPU tidak perlu memproses permintaan yang masuk, dan memungkinkan throughput yang sangat tinggi, dengan permintaan pemrosesan FPGA secepat jaringan dapat mengalirkannya.

Project Brainwave menggunakan unit pemrosesan DNN (atau DPU) “lunak” yang kuat, yang disintesis ke FPGA yang tersedia secara komersial yang menggabungkan blok pemrosesan sinyal digital ASIC pada FPGA dan logika yang dapat disintesis untuk menyediakan jumlah unit fungsional yang lebih besar dan lebih optimal. Menggunakan sejumlah teknik khusus, ia dapat mencapai kinerja yang sebanding dengan – atau lebih besar dari – banyak chip DPU hard-coded.

Untuk membantu pengembang memanfaatkan semua kekuatan ini, Project Brainwave menggabungkan tumpukan perangkat lunak yang dirancang untuk mendukung berbagai kerangka kerja pembelajaran mendalam yang populer. Ini sudah mendukung Microsoft Cognitive Toolkit dan Tensorflow Google, dengan rencana untuk mendukung banyak lainnya.

Sistem ini dirancang untuk menunjukkan kinerja aktual yang tinggi di berbagai model kompleks, dengan eksekusi bebas batch dan dapat menangani model yang kompleks dan intensif memori seperti LSTM secara real-time.

Bahkan pada silikon Stratix 10 awal, Microsoft mendemonstrasikan sistem Project Brainwave porting yang menjalankan model GRU besar—lima kali lebih besar dari Resnet-50—tanpa batching, dan mencapai kinerja rekor. Demo tersebut menggunakan format floating point 8-bit khusus Microsoft ("ms-fp8"), yang tidak mengalami kerugian akurasi (rata-rata) di berbagai model.

Mereka menunjukkan Stratix 10 mempertahankan 39.5 Teraflops pada GRU besar ini, menjalankan setiap permintaan dalam waktu kurang dari satu milidetik. Pada tingkat kinerja tersebut, arsitektur Brainwave mendukung eksekusi lebih dari 130,000 operasi komputasi per siklus, didorong oleh satu instruksi makro yang dikeluarkan setiap 10 siklus. Berjalan di Stratix 10, Project Brainwave mencapai tingkat kinerja AI real-time yang belum pernah terjadi sebelumnya yang ditunjukkan pada model yang sangat menantang, dengan kinerja hari ini hanya sebagai titik awal.

Microsoft berencana untuk membawa Project Brainwave ke Azure pada tahun 2018 sehingga setiap pelanggan dapat memperoleh akses ke teknologi, memungkinkan mereka untuk menjalankan model pembelajaran mendalam yang paling kompleks pada kinerja rekor, dan membawa Armageddon selangkah lebih dekat.

Baca lebih detail tentang teknologinya di Microsoft di sini.