Microsoft Orca-Math, matematik problemlerini çözmede GPT-3.5 ve Gemini Pro'dan daha iyi performans gösterebilen küçük bir dil modelidir
2 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Önemli notlar
- Karşılaştırmalara göre Orca-Math, GSM86.81k pass@8'de %1 elde etti.
- Bu sayı Meta'nın LLAMA-2-70'ini, Google'ın Gemini Pro'sunu, OpenAI'nin GPT-3.5'ini ve hatta MetaMath-70B ve WizardMa8th-70B gibi matematiğe özgü modelleri geride bırakıyor.
Microsoft Araştırması bugün açıkladı Orca-Math, matematik problemlerini çözmede Gemini Pro ve GPT-3.5 gibi çok daha büyük modellerden daha iyi performans gösterebilen küçük bir dil modeli (SLM). Orca-Math, uzmanlaşmış SLM'lerin belirli alanlarda nasıl başarılı olabileceğini, hatta daha büyük modellerden daha iyi performans gösterebileceğini gösteriyor. Bu modelin Microsoft tarafından sıfırdan yaratılmadığını, bunun yerine bu modelin Mistral 7B modeline ince ayar yapılarak oluşturulduğunu belirtmek önemlidir.
Karşılaştırmalara göre Orca-Math, GSM86.81k pass@8'de %1 elde etti. Bu sayı Meta'nın LLAMA-2-70'ini, Google'ın Gemini Pro'sunu, OpenAI'nin GPT-3.5'ini ve hatta MetaMath-70B ve WizardMa8th-70B gibi matematiğe özgü modelleri geride bırakıyor. Orca-Math'in oluşturulduğu temel model Mistral-7B'nin GSM37.83K'da yalnızca %8'e ulaştığını belirtmek önemlidir.
Microsoft Research, bu etkileyici performansı aşağıdaki teknikleri izleyerek elde etmeyi başardı:
- Yüksek Kaliteli Sentetik Veriler: Orca-Math bir veri seti üzerinde eğitildi 200,000 matematik problemi, çoklu aracılar (AutoGen) kullanılarak titizlikle hazırlanmıştır. Bu veri seti diğer bazı matematik veri setlerinden daha küçük olmasına rağmen daha hızlı ve daha uygun maliyetli eğitime olanak sağladı.
- Yinelemeli Öğrenme Süreci: Geleneksel denetimli ince ayara ek olarak Orca-Math yinelemeli bir öğrenme sürecinden geçti. Sorun çözme alıştırmaları yaptı ve bir “öğretmen” sinyalinden gelen geri bildirimlere dayanarak sürekli olarak geliştirildi.
"Bulgularımız, daha küçük modellerin, çok daha büyük modellerin performansını sınırlı bir kapsamda karşılayabilecekleri özel ortamlarda değerli olduğunu gösteriyor. Orca-Math'i 200,000 matematik probleminden oluşan küçük bir veri kümesi üzerinde eğiterek, çok daha büyük modellere rakip olan veya onları aşan performans seviyeleri elde ettik" diye yazdı Microsoft Araştırma ekibi.
