Büyük veri araştırmalarını daha verimli hale getirmek için Microsoft açık kaynakları Dağıtılmış Makine Öğrenimi Araç Seti
2 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Büyük modellerin yalnızca mütevazı bir küme kullanarak ve verimli bir şekilde eğitilmesini sağlamak için Microsoft, kısa süre önce hem algoritmik hem de sistem yeniliklerini içeren Dağıtılmış Makine Öğrenimi Araç Takımı'nı (DMTK) yayınladı. Bu, büyük veri araştırmasını daha ölçeklenebilir, verimli ve esnek hale getirir.
araç seti, şimdi GitHub'da mevcut, karmaşık bir sorunu çözmek için birden çok bilgisayarı paralel olarak kullanarak dağıtılmış makine öğrenimi için tasarlanmıştır. Parametre sunucusu tabanlı bir programlama çerçevesi içerir, bu da makine öğrenme büyük veri üzerinde yüksek düzeyde ölçeklenebilir, verimli ve esnek görevler. Ayrıca, dünyadaki en hızlı ve en büyük konu modelini ve en büyük kelime gömme modelini eğitmek için kullanılabilecek iki dağıtılmış makine öğrenimi algoritması içerir.
Araç seti, engelleri azaltmak için zengin ve kullanımı kolay API'ler sunar. dağıtılmış makine öğrenimi, böylece araştırmacılar ve geliştiriciler veri, model ve eğitim gibi temel makine öğrenimi görevlerine odaklanabilirler.
DMTK'nin mevcut sürümü aşağıdaki bileşenleri içerir (gelecekteki sürümlere daha fazla bileşen eklenecektir):
• DMTK Çerçevesi: veri paralelleştirme için birleşik arabirimi, büyük model depolaması için hibrit veri yapısını, büyük model eğitimi için model zamanlamasını ve yüksek eğitim verimliliği için otomatik boru hattını destekleyen esnek bir çerçeve.
• LightLDA, son derece hızlı ve ölçeklenebilir bir konu modeli algoritması, O(1) Gibbs örnekleyici ve verimli bir dağıtılmış uygulama.
• Dağıtılmış (Multisense) Kelime Gömme, (çok anlamlı) kelime gömme algoritmasının dağıtılmış bir versiyonu.
Makine öğrenimi araştırmacıları ve uygulayıcıları, mevcut tek makineli algoritmalarında küçük değişiklikler yaparak çerçevemizin üzerine kendi dağıtılmış makine öğrenimi algoritmalarını da oluşturabilirler.
