Το Microsoft DeBERTa ξεπερνά τους αδύνατους ανθρώπους στο τεστ κατανόησης ανάγνωσης SuperGlue

Έχει σημειωθεί τεράστια πρόοδος πρόσφατα σε δίκτυα εκπαίδευσης με εκατομμύρια παραμέτρους. Η Microsoft ενημέρωσε πρόσφατα το μοντέλο DeBERTa (Decoding-enhanced BERT with disentangled προσοχή) εκπαιδεύοντας μια μεγαλύτερη έκδοση που αποτελείται από 48 επίπεδα Transformer με 1.5 δισεκατομμύρια παραμέτρους. Η σημαντική ώθηση της απόδοσης κάνει το μεμονωμένο μοντέλο DeBERTa να ξεπερνά την ανθρώπινη απόδοση στην επεξεργασία και κατανόηση της γλώσσας SuperGLUE για πρώτη φορά από την άποψη του μακρο-μέσου όρου βαθμολογίας (89.9 έναντι 89.8), ξεπερνώντας την ανθρώπινη βασική γραμμή κατά ένα αξιοπρεπές περιθώριο (90.3 έναντι 89.8). . Το σημείο αναφοράς SuperGLUE αποτελείται από ένα ευρύ φάσμα εργασιών Κατανόησης Φυσικής Γλώσσας, συμπεριλαμβανομένης της απάντησης σε ερωτήσεις, των συμπερασμάτων φυσικής γλώσσας. Το μοντέλο βρίσκεται επίσης στην κορυφή της κατάταξης αναφοράς GLUE με μακροοικονομικό μέσο όρο βαθμολογίας 90.8.

Το DeBERTa βελτιώνει προηγούμενα PLM τελευταίας τεχνολογίας (για παράδειγμα, BERT, RoBERTa, UniLM) χρησιμοποιώντας τρεις νέες τεχνικές: έναν μηχανισμό αποσύμπλεξης προσοχής, έναν ενισχυμένο αποκωδικοποιητή μάσκας και μια εικονική μέθοδο εκπαίδευσης αντιπάλου για τελειοποίηση.

Σε σύγκριση με το μοντέλο T5 της Google, το οποίο αποτελείται από 11 δισεκατομμύρια παραμέτρους, το DeBERTa με 1.5 δισεκατομμύρια παραμέτρους είναι πολύ πιο ενεργειακά αποδοτικό για εκπαίδευση και συντήρηση και συμπίεση και ανάπτυξη σε εφαρμογές διαφόρων ρυθμίσεων.

Το DeBERTa που ξεπέρασε την ανθρώπινη απόδοση στο SuperGLUE σηματοδοτεί ένα σημαντικό ορόσημο προς τη γενική τεχνητή νοημοσύνη. Παρά τα πολλά υποσχόμενα αποτελέσματά του στο SuperGLUE, το μοντέλο σε καμία περίπτωση δεν αγγίζει τη νοημοσύνη σε ανθρώπινο επίπεδο της NLU. Οι άνθρωποι είναι εξαιρετικά καλοί στο να αξιοποιούν τη γνώση που αποκτάται από διαφορετικές εργασίες για να λύσουν μια νέα εργασία χωρίς ή με ελάχιστη επίδειξη συγκεκριμένης εργασίας.

Η Microsoft θα ενσωματώσει την τεχνολογία στην επόμενη έκδοση του μοντέλου αναπαράστασης φυσικής γλώσσας Microsoft Turing, που χρησιμοποιείται σε μέρη όπως το Bing, το Office, το Dynamics και το Azure Cognitive Services, τροφοδοτώντας ένα ευρύ φάσμα σεναρίων που αφορούν αλληλεπιδράσεις ανθρώπου-μηχανής και ανθρώπου-ανθρώπου μέσω φυσική γλώσσα (όπως chatbot, σύσταση, απάντηση ερωτήσεων, αναζήτηση, προσωπική βοήθεια, αυτοματοποίηση υποστήριξης πελατών, δημιουργία περιεχομένου και άλλα). Επιπλέον, η Microsoft θα κυκλοφορήσει το μοντέλο DeBERTa 1.5 δισεκατομμυρίων παραμέτρων και τον πηγαίο κώδικα στο κοινό.

Διαβάστε όλες τις λεπτομέρειες στη Microsoft εδώ.