Microsoft Orca-Math est un petit modèle de langage qui peut surpasser GPT-3.5 et Gemini Pro dans la résolution de problèmes mathématiques
2 minute. lis
Publié le
Partagez cet article
Améliorer ce guide
Lisez notre page de divulgation pour savoir comment vous pouvez aider MSPoweruser à soutenir l'équipe éditoriale En savoir plus
Notes clés
- Selon les benchmarks, Orca-Math a obtenu 86.81 % sur GSM8k pass@1.
- Ce nombre bat le LLLAMA-2-70 de Meta, le Gemini Pro de Google, le GPT-3.5 d'OpenAI et même les modèles spécifiques aux mathématiques comme MetaMath-70B et WizardMa8th-70B.
Microsoft Research aujourd'hui annoncé Orca-Math, un petit modèle de langage (SLM) qui peut surpasser des modèles beaucoup plus grands comme Gemini Pro et GPT-3.5 pour résoudre des problèmes mathématiques. Orca-Math illustre comment les SLM spécialisés peuvent exceller dans des domaines spécifiques, surpassant même des modèles plus grands. Il est important de noter que ce modèle n'a pas été créé à partir de zéro par Microsoft, mais plutôt en peaufinant le modèle Mistral 7B.
Selon les benchmarks, Orca-Math a obtenu 86.81 % sur GSM8k pass@1. Ce nombre bat le LLLAMA-2-70 de Meta, le Gemini Pro de Google, le GPT-3.5 d'OpenAI et même les modèles spécifiques aux mathématiques comme MetaMath-70B et WizardMa8th-70B. Il est important de noter que le modèle de base Mistral-7B sur la base duquel Orca-Math a été construit n'a obtenu que 37.83 % sur GSM8K.
Microsoft Research a pu atteindre cette performance impressionnante en suivant les techniques ci-dessous :
- Données synthétiques de haute qualité: Orca-Math a été formé sur un ensemble de données de 200,000 XNUMX problèmes de mathématiques, méticuleusement conçu à l'aide de multi-agents (AutoGen). Bien que cet ensemble de données soit plus petit que certains autres ensembles de données mathématiques, il a permis une formation plus rapide et plus rentable.
- Processus d'apprentissage itératif: En plus de la mise au point supervisée traditionnelle, Orca-Math a subi un processus d'apprentissage itératif. Il s'est entraîné à résoudre des problèmes et s'est continuellement amélioré sur la base des commentaires d'un signal « enseignant ».
« Nos résultats montrent que les modèles plus petits sont utiles dans des environnements spécialisés où ils peuvent égaler les performances de modèles beaucoup plus grands, mais avec une portée limitée. En entraînant Orca-Math sur un petit ensemble de données de 200,000 XNUMX problèmes mathématiques, nous avons atteint des niveaux de performances qui rivalisent ou dépassent ceux de modèles beaucoup plus grands », a écrit l'équipe de recherche de Microsoft.
