Microsoft Orca-Math mali je jezični model koji može nadmašiti GPT-3.5 i Gemini Pro u rješavanju matematičkih problema
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Ključne napomene
- Prema mjerilima, Orca-Math postigao je 86.81% na GSM8k pass@1.
- Ovaj broj nadmašuje Meta-in LLAMA-2-70, Googleov Gemini Pro, OpenAI-jev GPT-3.5 pa čak i modele specifične za matematiku kao što su MetaMath-70B i WizardMa8th-70B.
Microsoft Research danas najavio Orca-Math, mali jezični model (SLM) koji može nadmašiti puno veće modele poput Gemini Pro i GPT-3.5 u rješavanju matematičkih problema. Orca-Math primjer je kako specijalizirani SLM-ovi mogu briljirati u određenim domenama, čak i nadmašiti veće modele. Važno je napomenuti da ovaj model nije kreiran od nule od strane Microsofta, umjesto toga ovaj model je stvoren finim podešavanjem modela Mistral 7B.
Prema mjerilima, Orca-Math postigao je 86.81% na GSM8k pass@1. Ovaj broj nadmašuje Meta-in LLAMA-2-70, Googleov Gemini Pro, OpenAI-jev GPT-3.5 pa čak i modele specifične za matematiku kao što su MetaMath-70B i WizardMa8th-70B. Važno je napomenuti da je osnovni model Mistral-7B na temelju kojeg je izgrađen Orca-Math postigao samo 37.83% na GSM8K.
Microsoft Research uspio je postići ovu impresivnu izvedbu slijedeći sljedeće tehnike:
- Visokokvalitetni sintetički podaci: Orca-Math je obučen na skupu podataka od 200,000 XNUMX matematičkih zadataka, pomno izrađen korištenjem više agenata (AutoGen). Iako je ovaj skup podataka manji od nekih drugih skupova matematičkih podataka, omogućio je bržu i isplativiju obuku.
- Iterativni proces učenja: Osim tradicionalnog nadziranog finog podešavanja, Orca-Math je podvrgnut iterativnom procesu učenja. Vježbalo se rješavanje problema i kontinuirano se usavršavalo na temelju povratne informacije od signala "učitelja".
“Naša otkrića pokazuju da su manji modeli vrijedni u specijaliziranim postavkama gdje mogu parirati performansama puno većim modelima, ali s ograničenim opsegom. Obučavajući Orca-Math na malom skupu podataka od 200,000 matematičkih problema, postigli smo razine performansi koje su konkurentne ili nadmašuju one mnogo većih modela,” napisao je Microsoftov istraživački tim.
