Microsoft'un devasa FPGA tabanlı yapay zeka platformu, veri merkezi ölçeğinde gerçek zamanlı işleme sağlıyor

Microsoft bugün, kafalarımızı topuklarının altında ezecek robotlara güç verecek teknoloji hakkında biraz daha bilgi verdi.

Project Brainwave olarak adlandırılan Microsoft'un bulut tabanlı yapay zeka platformu, Intel'in yeni 14 nm Stratix 10 FPGA birimleri tarafından desteklenmektedir ve her isteği bir milisaniyenin altında çalıştırarak sürekli bir 39.5 Teraflop sunabilmektedir. Bu yüksek performans ve ultra düşük gecikme süresi, Microsoft'un, ister arama sorguları, videolar, sensör akışları, isterse kullanıcılarla etkileşimler olsun, bulut altyapıları canlı veri akışlarını işlerken giderek daha önemli hale gelen gerçek zamanlı AI sunmasına olanak tanır.

Microsoft, yüksek performanslı FPGA'ları doğrudan veri merkezi ağlarına bağlayarak, DNN'leri, bir DNN'nin uzak FPGA'lar havuzuna eşlenebildiği ve döngüde hiçbir yazılım olmadan bir sunucu tarafından çağrılabildiği donanım mikro hizmetleri olarak sunabilir. Bu sistem mimarisi hem CPU'nun gelen istekleri işlemesi gerekmediğinden gecikmeyi azaltır ve FPGA işleme isteklerini ağın akış hızı kadar hızlı işlemesiyle çok yüksek verim sağlar.

Project Brainwave, daha fazla ve daha optimize sayıda işlevsel birim sağlamak için hem FPGA'lardaki ASIC dijital sinyal işleme bloklarını hem de sentezlenebilir mantığı birleştiren, ticari olarak mevcut FPGA'lar üzerinde sentezlenen güçlü bir "yumuşak" DNN işleme birimi (veya DPU) kullanır. Bir dizi özel teknik kullanarak, birçok sabit kodlanmış DPU yongasıyla karşılaştırılabilir veya ondan daha yüksek performans elde edebilir.

Geliştiricilerin tüm bu gücü kullanmasına yardımcı olmak için Project Brainwave, çok çeşitli popüler derin öğrenme çerçevelerini desteklemek için tasarlanmış bir yazılım yığını içerir. Halihazırda Microsoft Cognitive Toolkit ve Google'ın Tensorflow'unu destekliyor ve diğerlerini de desteklemeyi planlıyor.

Sistem, toplu işlem gerektirmeyen yürütme ile çok çeşitli karmaşık modellerde yüksek gerçek performans gösterecek şekilde tasarlanmıştır ve LSTM'ler gibi karmaşık, yoğun bellek kullanan modelleri gerçek zamanlı olarak işleyebilir.

Erken Stratix 10 silikonunda bile, Microsoft, büyük bir GRU modelini (Resnet-50'den beş kat daha büyük) çalıştıran portlu Project Brainwave sistemini gruplama olmadan gösterdi ve rekor kıran bir performans elde etti. Demo, Microsoft'un çeşitli modellerde doğruluk kayıplarına (ortalama olarak) maruz kalmayan özel 8 bit kayan nokta biçimini (“ms-fp8”) kullandı.

Stratix 10'un bu büyük GRU'da 39.5 Teraflop'u sürdürdüğünü ve her isteği bir milisaniyenin altında çalıştırdığını gösterdiler. Bu performans seviyesinde, Brainwave mimarisi, her 130,000 döngüde bir verilen bir makro talimatı tarafından yönlendirilen, döngü başına 10'den fazla hesaplama işleminin yürütülmesini sürdürür. Stratix 10 üzerinde çalışan Project Brainwave, günümüzün performansı sadece bir başlangıç ​​noktası olarak, son derece zorlu modellerde eşi benzeri görülmemiş düzeyde gerçek zamanlı AI performansı gösterdi.

Microsoft, Project Brainwave'i 2018'de Azure'a getirmeyi planlıyor, böylece herhangi bir müşteri teknolojiye erişebilir, böylece en karmaşık derin öğrenme modellerini rekor kıran performansta çalıştırabilir ve Armageddon'u bir adım daha yaklaştırabilir.

Teknoloji hakkında daha fazla ayrıntı okuyun Microsoft'ta burada.