Το Computational Network Toolkit της Microsoft ξεπερνά το Google TensorFlow στην απόδοση κατανεμημένης βαθιάς μάθησης

Πέρυσι, η Microsoft Research αποκάλυψε το Computational Network Toolkit (CNTK), ένα ενοποιημένο υπολογιστικό πλαίσιο δικτύου που περιγράφει τα βαθιά νευρωνικά δίκτυα ως μια σειρά υπολογιστικών βημάτων μέσω ενός κατευθυνόμενου γραφήματος. Με τον συνδυασμό του CNTK και του Azure GPU Lab της Microsoft, η Microsoft διαθέτει μια κατανεμημένη πλατφόρμα GPU που η κοινότητα μπορεί να χρησιμοποιήσει για να προωθήσει την έρευνα τεχνητής νοημοσύνης. Από την κυκλοφορία του CNTK πέρυσι, η ομάδα MSR έχει βελτιώσει σημαντικά την απόδοση μηχανικής εκμάθησης με το Azure GPU Lab. Στην πραγματικότητα, το CNTK προσφέρει τώρα την πιο αποτελεσματική κατανεμημένη υπολογιστική απόδοση ξεπερνώντας το TensorFlow της Google και άλλες.

Για την κρίσιμη έρευνα για την τεχνητή νοημοσύνη, πιστεύουμε ότι η αποτελεσματικότητα και η απόδοση πρέπει να είναι ένα από τα πιο σημαντικά κριτήρια σχεδιασμού. Υπάρχει μια σειρά από εργαλειοθήκες βαθιάς μάθησης που διατίθενται από Δάδα, Θεανώ και Καφετέρια στις πρόσφατες εργαλειοθήκες ανοιχτού κώδικα από Google και IBM. Συγκρίναμε το CNTK με τέσσερις δημοφιλείς εργαλειοθήκες. Εστιάζουμε στη σύγκριση της ακατέργαστης υπολογιστικής απόδοσης διαφορετικών εργαλείων χρησιμοποιώντας προσομοιωμένα δεδομένα με αποτελεσματικό μικρό μέγεθος παρτίδας (8192) προκειμένου να αξιοποιηθούν πλήρως όλες οι GPU. Με ένα πλήρως συνδεδεμένο νευρωνικό δίκτυο 4 επιπέδων (βλ σενάρια αναφοράς), ο αριθμός των καρέ που μπορεί να επεξεργαστεί κάθε εργαλειοθήκη ανά δευτερόλεπτο φαίνεται στο γράφημα. Περιλαμβάνουμε δύο διαμορφώσεις σε ένα μόνο μηχάνημα Linux με 1 και 4 GPU (Nvidia K40) αντίστοιχα. Αναφέρουμε επίσης την ταχύτητά μας CNTK 8 GPU στο Azure GPU Lab με 2 πανομοιότυπα μηχανήματα Linux (2 x 4 GPU) όπως χρησιμοποιούνται στο βασικό σημείο αναφοράς. Το CNTK συγκρίνεται ευνοϊκά ως προς την υπολογιστική απόδοση για κατανεμημένη βαθιά εκμάθηση (4 GPU ή 8 GPU) σε όλα αυτά τα κιτ εργαλείων που δοκιμάσαμε. Το CNTK μπορεί εύκολα να κλιμακωθεί πέρα ​​από 8 GPU σε πολλαπλά μηχανήματα με ανώτερη απόδοση κατανεμημένου συστήματος.