ערכת כלי למידת מכונה מבוזרת של מיקרוסופט במקורות פתוחים כדי להפוך את מחקר ביג דאטה ליעיל יותר

על מנת לאפשר הדרכה של דגמים גדולים באמצעות אשכול צנוע בלבד ובאופן יעיל, מיקרוסופט הוציאה לאחרונה את כלי למידת מכונה מבוזרת (DMTK), המכילה חידושים אלגוריתמיים ומערכתיים כאחד. זה הופך את מחקר ביג דאטה למדרגי יותר, יעיל וגמיש יותר.

ערכת הכלים, זמין כעת ב-GitHub, מיועד ללמידת מכונה מבוזרת - שימוש במספר מחשבים במקביל כדי לפתור בעיה מורכבת. הוא מכיל מסגרת תכנות מבוססת פרמטרים, מה שעושה למידת מכונה משימות על ביג דאטה ניתנות להרחבה, יעילה וגמישה ביותר. הוא מכיל גם שני אלגוריתמים מבוזרים של למידת מכונה, שניתן להשתמש בהם כדי לאמן את מודל הנושא המהיר והגדול ביותר ואת מודל הטבעת המילים הגדול בעולם.

ערכת הכלים מציעה ממשקי API עשירים וקלים לשימוש להפחתת המחסום של למידת מכונה מבוזרת, כך שחוקרים ומפתחים יכולים להתמקד במשימות ליבה של למידת מכונה כמו נתונים, מודל והדרכה.

הגרסה הנוכחית של DMTK כוללת את הרכיבים הבאים (רכיבים נוספים יתווספו לגרסאות העתידיות):

• DMTK Framework: מסגרת גמישה התומכת בממשק מאוחד להקבילת נתונים, מבנה נתונים היברידי לאחסון דגמים גדולים, תזמון מודלים לאימון מודלים גדולים, וצינור אוטומטי ליעילות אימון גבוהה.

• LightLDA, אלגוריתם מודל נושא מהיר במיוחד וניתן להרחבה, עם דגימת O(1) Gibbs ויישום מבוזר יעיל.

• הטבעת מילים מבוזרת (Multisense), גרסה מבוזרת של אלגוריתם הטבעת מילים (רב-חושים).

חוקרי ומתרגלים של למידת מכונה יכולים גם לבנות אלגוריתמים משלהם למידת מכונה על גבי המסגרת שלנו עם שינויים קטנים באלגוריתמים הקיימים של מכונה יחידה.