Microsoft Orca-Math è un piccolo modello linguistico in grado di superare GPT-3.5 e Gemini Pro nella risoluzione dei problemi di matematica
2 minuto. leggere
Edizione del
Condividi questo articolo
Migliora questa guida
Leggi la nostra pagina informativa per scoprire come puoi aiutare MSPoweruser a sostenere il team editoriale Per saperne di più
Note chiave
- Secondo i benchmark, Orca-Math ha raggiunto l'86.81% su GSM8k pass@1.
- Questo numero batte LLAMA-2-70 di Meta, Gemini Pro di Google, GPT-3.5 di OpenAI e persino modelli specifici per la matematica come MetaMath-70B e WizardMa8th-70B.
Microsoft Research oggi ha annunciato Orca-Math, un piccolo modello linguistico (SLM) che può superare modelli molto più grandi come Gemini Pro e GPT-3.5 nella risoluzione di problemi di matematica. Orca-Math esemplifica come gli SLM specializzati possano eccellere in domini specifici, superando anche i modelli più ampi. È importante notare che questo modello non è stato creato da zero da Microsoft, ma è stato creato mettendo a punto il modello Mistral 7B.
Secondo i benchmark, Orca-Math ha raggiunto l'86.81% su GSM8k pass@1. Questo numero batte LLAMA-2-70 di Meta, Gemini Pro di Google, GPT-3.5 di OpenAI e persino modelli specifici per la matematica come MetaMath-70B e WizardMa8th-70B. È importante notare che il modello base Mistral-7B su cui è stato costruito Orca-Math ha ottenuto solo il 37.83% su GSM8K.
Microsoft Research è stata in grado di ottenere queste prestazioni impressionanti seguendo le tecniche seguenti:
- Dati sintetici di alta qualità: Orca-Math è stato addestrato su un set di dati di 200,000 problemi di matematica, realizzato meticolosamente utilizzando più agenti (AutoGen). Sebbene questo set di dati sia più piccolo di altri set di dati matematici, ha consentito una formazione più rapida ed economica.
- Processo di apprendimento iterativo: Oltre alla tradizionale messa a punto supervisionata, Orca-Math è stato sottoposto a un processo di apprendimento iterativo. Si esercitava nella risoluzione dei problemi e migliorava continuamente sulla base del feedback del segnale dell'"insegnante".
“I nostri risultati mostrano che i modelli più piccoli sono preziosi in contesti specializzati dove possono eguagliare le prestazioni di modelli molto più grandi ma con una portata limitata. Addestrando Orca-Math su un piccolo set di dati di 200,000 problemi di matematica, abbiamo raggiunto livelli di prestazioni che competono o superano quelli di modelli molto più grandi", ha scritto il team di ricerca di Microsoft.
