Microsoft Open Sources Distributed Machine Learning Toolkit για να κάνει την έρευνα μεγάλων δεδομένων πιο αποτελεσματική

Προκειμένου να καταστεί δυνατή η εκπαίδευση μεγάλων μοντέλων χρησιμοποιώντας απλώς ένα μέτριο σύμπλεγμα και με αποτελεσματικό τρόπο, η Microsoft κυκλοφόρησε πρόσφατα το Distributed Machine Learning Toolkit (DMTK), το οποίο περιέχει καινοτομίες αλγοριθμικών και συστημάτων. Αυτό καθιστά την έρευνα μεγάλων δεδομένων πιο επεκτάσιμη, αποτελεσματική και ευέλικτη.

Η εργαλειοθήκη, διαθέσιμο τώρα στο GitHub, έχει σχεδιαστεί για κατανεμημένη μηχανική μάθηση — χρησιμοποιώντας πολλαπλούς υπολογιστές παράλληλα για την επίλυση ενός πολύπλοκου προβλήματος. Περιέχει ένα πλαίσιο προγραμματισμού που βασίζεται σε διακομιστή παραμέτρων, το οποίο κάνει μάθηση μηχανής εργασίες σε μεγάλα δεδομένα εξαιρετικά επεκτάσιμες, αποτελεσματικές και ευέλικτες. Περιέχει επίσης δύο κατανεμημένους αλγόριθμους μηχανικής μάθησης, οι οποίοι μπορούν να χρησιμοποιηθούν για την εκπαίδευση του ταχύτερου και μεγαλύτερου μοντέλου θεμάτων και του μεγαλύτερου μοντέλου ενσωμάτωσης λέξεων στον κόσμο.

Η εργαλειοθήκη προσφέρει πλούσια και εύχρηστα API για τη μείωση του φραγμού κατανεμημένη μηχανική μάθηση, ώστε οι ερευνητές και οι προγραμματιστές να μπορούν να επικεντρωθούν σε βασικές εργασίες μηχανικής εκμάθησης όπως δεδομένα, μοντέλα και εκπαίδευση.

Η τρέχουσα έκδοση του DMTK περιλαμβάνει τα ακόλουθα στοιχεία (περισσότερα στοιχεία θα προστεθούν στις μελλοντικές εκδόσεις):

• Πλαίσιο DMTK: ένα ευέλικτο πλαίσιο που υποστηρίζει ενοποιημένη διεπαφή για παραλληλοποίηση δεδομένων, υβριδική δομή δεδομένων για αποθήκευση μεγάλων μοντέλων, προγραμματισμό μοντέλων για εκπαίδευση μεγάλων μοντέλων και αυτόματη διοχέτευση για υψηλή απόδοση εκπαίδευσης.

• LightLDA, ένας εξαιρετικά γρήγορος και επεκτάσιμος αλγόριθμος θεματικού μοντέλου, με δειγματολήπτη O(1) Gibbs και αποτελεσματική κατανεμημένη υλοποίηση.

• Κατανεμημένη (πολλαπλών νόημα) ενσωμάτωση λέξεων, μια κατανεμημένη έκδοση του αλγορίθμου ενσωμάτωσης λέξεων (πολλαπλών νόημα).

Οι ερευνητές και οι επαγγελματίες μηχανικής μάθησης μπορούν επίσης να δημιουργήσουν τους δικούς τους κατανεμημένους αλγόριθμους μηχανικής μάθησης πάνω από το πλαίσιο μας με μικρές τροποποιήσεις στους υπάρχοντες αλγόριθμους μιας μηχανής.