Το Microsoft Orca-Math είναι ένα μικρό μοντέλο γλώσσας που μπορεί να ξεπεράσει το GPT-3.5 και το Gemini Pro στην επίλυση μαθηματικών προβλημάτων
2 λεπτό. ανάγνωση
Δημοσιεύθηκε στις
Μοιραστείτε αυτό το άρθρο
Βελτιώστε αυτόν τον οδηγό
Διαβάστε τη σελίδα αποκάλυψης για να μάθετε πώς μπορείτε να βοηθήσετε το MSPoweruser να διατηρήσει τη συντακτική ομάδα Διάβασε περισσότερα
Βασικές σημειώσεις
- Σύμφωνα με τα σημεία αναφοράς, η Orca-Math πέτυχε 86.81% στο GSM8k pass@1.
- Αυτός ο αριθμός ξεπερνά το LLAMA-2-70 της Meta, το Gemini Pro της Google, το GPT-3.5 του OpenAI και ακόμη και μοντέλα ειδικά για τα μαθηματικά όπως το MetaMath-70B και το WizardMa8th-70B.
Microsoft Research σήμερα ανακοίνωσε Orca-Math, ένα μικρό μοντέλο γλώσσας (SLM) που μπορεί να ξεπεράσει πολύ μεγαλύτερα μοντέλα όπως το Gemini Pro και το GPT-3.5 στην επίλυση μαθηματικών προβλημάτων. Το Orca-Math αποτελεί παράδειγμα για το πώς τα εξειδικευμένα SLM μπορούν να διαπρέψουν σε συγκεκριμένους τομείς, ξεπερνώντας ακόμη και μεγαλύτερα μοντέλα. Είναι σημαντικό να σημειωθεί ότι αυτό το μοντέλο δεν δημιουργήθηκε από την αρχή από τη Microsoft, αντί αυτού αυτό το μοντέλο δημιουργήθηκε με τη λεπτομέρεια του μοντέλου Mistral 7B.
Σύμφωνα με τα σημεία αναφοράς, η Orca-Math πέτυχε 86.81% στο GSM8k pass@1. Αυτός ο αριθμός ξεπερνά το LLAMA-2-70 της Meta, το Gemini Pro της Google, το GPT-3.5 του OpenAI και ακόμη και μοντέλα ειδικά για τα μαθηματικά όπως το MetaMath-70B και το WizardMa8th-70B. Είναι σημαντικό να σημειωθεί ότι το βασικό μοντέλο Mistral-7B βάσει του οποίου κατασκευάστηκε το Orca-Math πέτυχε μόνο 37.83% στο GSM8K.
Η Microsoft Research κατάφερε να επιτύχει αυτήν την εντυπωσιακή απόδοση ακολουθώντας τις παρακάτω τεχνικές:
- Συνθετικά δεδομένα υψηλής ποιότητας: Η Orca-Math εκπαιδεύτηκε σε ένα σύνολο δεδομένων του 200,000 μαθηματικά προβλήματα, σχολαστικά κατασκευασμένο με χρήση πολλαπλών παραγόντων (AutoGen). Ενώ αυτό το σύνολο δεδομένων είναι μικρότερο από ορισμένα άλλα σύνολα δεδομένων μαθηματικών, επέτρεψε την ταχύτερη και πιο οικονομική εκπαίδευση.
- Επαναληπτική Μαθησιακή Διαδικασία: Εκτός από την παραδοσιακή εποπτευόμενη βελτίωση, το Orca-Math υποβλήθηκε σε μια επαναληπτική διαδικασία εκμάθησης. Εξασκήθηκε στην επίλυση προβλημάτων και βελτιωνόταν συνεχώς με βάση την ανατροφοδότηση από ένα σήμα «δάσκαλου».
«Τα ευρήματά μας δείχνουν ότι τα μικρότερα μοντέλα είναι πολύτιμα σε εξειδικευμένες ρυθμίσεις όπου μπορούν να ταιριάζουν με την απόδοση πολύ μεγαλύτερων μοντέλων αλλά με περιορισμένο εύρος. Εκπαιδεύοντας το Orca-Math σε ένα μικρό σύνολο δεδομένων 200,000 μαθηματικών προβλημάτων, έχουμε επιτύχει επίπεδα απόδοσης που ανταγωνίζονται ή ξεπερνούν αυτά των πολύ μεγαλύτερων μοντέλων», έγραψε η ομάδα Έρευνας της Microsoft.
