Microsoft Orca-Math ist ein kleines Sprachmodell, das GPT-3.5 und Gemini Pro bei der Lösung mathematischer Probleme übertreffen kann
2 Minute. lesen
Veröffentlicht am
Teile diesen Artikel
Verbessern Sie diesen Leitfaden
Lesen Sie unsere Offenlegungsseite, um herauszufinden, wie Sie MSPoweruser dabei helfen können, das Redaktionsteam zu unterstützen Lesen Sie weiter
Wichtige Hinweise
- Laut Benchmarks erreichte Orca-Math 86.81 % bei GSM8k pass@1.
- Diese Zahl übertrifft Metas LLAMA-2-70, Googles Gemini Pro, OpenAIs GPT-3.5 und sogar mathematikspezifische Modelle wie MetaMath-70B und WizardMa8th-70B.
Microsoft Research heute angekündigt Orca-Math, ein kleines Sprachmodell (SLM), das bei der Lösung mathematischer Probleme viel größere Modelle wie Gemini Pro und GPT-3.5 übertreffen kann. Orca-Math veranschaulicht, wie spezialisierte SLMs in bestimmten Bereichen hervorragende Leistungen erbringen und sogar größere Modelle übertreffen können. Es ist wichtig zu beachten, dass dieses Modell nicht von Grund auf von Microsoft erstellt wurde, sondern dass dieses Modell durch eine Feinabstimmung des Mistral 7B-Modells erstellt wurde.
Laut Benchmarks erreichte Orca-Math 86.81 % bei GSM8k pass@1. Diese Zahl übertrifft Metas LLAMA-2-70, Googles Gemini Pro, OpenAIs GPT-3.5 und sogar mathematikspezifische Modelle wie MetaMath-70B und WizardMa8th-70B. Es ist wichtig zu beachten, dass das Basismodell Mistral-7B, auf dem Orca-Math basiert, auf GSM37.83K nur 8 % erreichte.
Microsoft Research konnte diese beeindruckende Leistung durch die folgenden Techniken erzielen:
- Hochwertige synthetische Daten: Orca-Math wurde anhand eines Datensatzes trainiert 200,000 Matheaufgaben, sorgfältig erstellt mit Multi-Agenten (AutoGen). Obwohl dieser Datensatz kleiner ist als einige andere Mathematikdatensätze, ermöglichte er ein schnelleres und kostengünstigeres Training.
- Iterativer Lernprozess: Zusätzlich zur traditionellen überwachten Feinabstimmung durchlief Orca-Math einen iterativen Lernprozess. Es übte das Lösen von Problemen und verbesserte sich kontinuierlich auf der Grundlage des Feedbacks eines „Lehrer“-Signals
„Unsere Ergebnisse zeigen, dass kleinere Modelle in speziellen Umgebungen wertvoll sind, wo sie mit der Leistung viel größerer Modelle mithalten können, allerdings mit begrenztem Umfang.“ Durch das Training von Orca-Math anhand eines kleinen Datensatzes von 200,000 mathematischen Problemen haben wir Leistungsniveaus erreicht, die mit denen viel größerer Modelle mithalten oder diese sogar übertreffen“, schrieb das Forschungsteam von Microsoft.
