Microsoft otvorenog koda distribuira Distributed Machine Learning Toolkit kako bi istraživanje velikih podataka učinilo učinkovitijim
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Kako bi omogućio obuku velikih modela koristeći samo skroman klaster i na učinkovit način, Microsoft je nedavno izdao Distributed Machine Learning Toolkit (DMTK), koji sadrži i algoritamske i sustavne inovacije. To čini istraživanje velikih podataka skalabilnijim, učinkovitijim i fleksibilnijim.
komplet alata, dostupno sada na GitHubu, dizajniran je za distribuirano strojno učenje — korištenjem više računala paralelno za rješavanje složenog problema. Sadrži okvir za programiranje baziran na poslužitelju parametara, koji čini stroj za učenje zadaci na velikim podacima vrlo skalabilni, učinkoviti i fleksibilni. Također sadrži dva distribuirana algoritma strojnog učenja, koji se mogu koristiti za treniranje najbržeg i najvećeg modela teme i najvećeg modela ugradnje riječi na svijetu.
Komplet alata nudi bogate i jednostavne za korištenje API-je za smanjenje barijere distribuirano strojno učenje, tako da se istraživači i programeri mogu usredotočiti na osnovne zadatke strojnog učenja kao što su podaci, model i obuka.
Trenutna verzija DMTK-a uključuje sljedeće komponente (više komponenti bit će dodano budućim verzijama):
• DMTK Framework: fleksibilan okvir koji podržava ujedinjeno sučelje za paralelizaciju podataka, hibridnu strukturu podataka za pohranu velikih modela, zakazivanje modela za obuku velikih modela i automatsko dovođenje za visoku učinkovitost obuke.
• LightLDA, iznimno brz i skalabilan algoritam tematskog modela, s O(1) Gibbsovim uzorkom i učinkovitom distribuiranom implementacijom.
• Distributed (Multisense) Word Embedding, distribuirana verzija (višesmislenog) algoritma za ugrađivanje riječi.
Istraživači i praktičari strojnog učenja također mogu izgraditi vlastite distribuirane algoritme strojnog učenja na vrhu našeg okvira uz male izmjene svojih postojećih algoritama za jedan stroj.
