A Microsoft Orca-Math egy kis nyelvi modell, amely felülmúlja a GPT-3.5-öt és a Gemini Pro-t a matematikai feladatok megoldásában

A Microsoft Research ma bejelentés Az Orca-Math, egy kis nyelvi modell (SLM), amely sokkal nagyobb modelleket tud felülmúlni, mint a Gemini Pro és a GPT-3.5 a matematikai feladatok megoldásában. Az Orca-Math jól példázza, hogy a speciális SLM-ek hogyan tudnak kitűnni bizonyos területeken, még a nagyobb modelleket is felülmúlva. Fontos megjegyezni, hogy ezt a modellt nem a semmiből készítette a Microsoft, hanem a Mistral 7B modell finomhangolásával készült.

A benchmarkok szerint az Orca-Math 86.81%-ot ért el a GSM8k pass@1-en. Ez a szám felülmúlja a Meta LLAMA-2-70-ét, a Google Gemini Pro-ját, az OpenAI GPT-3.5-ét, és még olyan matematikai modelleket is, mint a MetaMath-70B és a WizardMa8th-70B. Fontos megjegyezni, hogy a Mistral-7B alapmodell, amelyre az Orca-Math épült, mindössze 37.83%-ot ért el a GSM8K-n.

A Microsoft Research az alábbi technikák követésével tudta elérni ezt a lenyűgöző teljesítményt:

• Kiváló minőségű szintetikus adatok: Az Orca-Math-ot egy adatkészletre képezték ki 200,000 XNUMX matematikai feladat, aprólékosan kidolgozott multi-agent (AutoGen) segítségével. Bár ez az adatkészlet kisebb, mint néhány más matematikai adatkészlet, gyorsabb és költséghatékonyabb képzést tett lehetővé.
• Iteratív tanulási folyamat: A hagyományos felügyelt finomhangolás mellett az Orca-Math iteratív tanulási folyamaton ment keresztül. Gyakorolta a problémák megoldását, és a „tanári” jelzés visszajelzései alapján folyamatosan fejlődött

„Eredményeink azt mutatják, hogy a kisebb modellek értékesek olyan speciális beállításokban, ahol a jóval nagyobb modellek teljesítményével megegyeznek, de korlátozott hatókörrel. Az Orca-Math egy 200,000 XNUMX matematikai feladatból álló kis adathalmazra való betanításával olyan teljesítményszinteket értünk el, amelyek a sokkal nagyobb modellekével vetekszik vagy felülmúlják” – írta a Microsoft Research csapata.