Microsoft Orca-Math یک مدل زبان کوچک است که می تواند از GPT-3.5 و Gemini Pro در حل مسائل ریاضی بهتر عمل کند.

تحقیقات مایکروسافت امروز اعلام کرد Orca-Math، یک مدل زبان کوچک (SLM) که می تواند از مدل های بسیار بزرگتر مانند Gemini Pro و GPT-3.5 در حل مسائل ریاضی بهتر عمل کند. Orca-Math نشان می دهد که چگونه SLM های تخصصی می توانند در حوزه های خاص برتری داشته باشند، حتی بهتر از مدل های بزرگتر. ذکر این نکته ضروری است که این مدل از ابتدا توسط مایکروسافت ایجاد نشده است، در عوض این مدل با تنظیم دقیق مدل Mistral 7B ایجاد شده است.

طبق معیارها، Orca-Math در GSM86.81k pass@8 به 1 درصد دست یافت. این عدد از LLAMA-2-70 متا، Gemini Pro گوگل، GPT-3.5 OpenAI و حتی مدل های ریاضی خاص مانند MetaMath-70B و WizardMa8th-70B پیشی می گیرد. توجه به این نکته ضروری است که مدل پایه Mistral-7B که بر اساس آن Orca-Math ساخته شده بود تنها 37.83٪ در GSM8K به دست آورد.

Microsoft Research با پیروی از تکنیک های زیر توانست به این عملکرد چشمگیر دست یابد:

• داده های مصنوعی با کیفیت بالا: Orca-Math بر روی مجموعه داده آموزش داده شد 200,000 مسئله ریاضی، با استفاده از چند عامل (AutoGen) با دقت ساخته شده است. در حالی که این مجموعه داده کوچکتر از سایر مجموعه داده های ریاضی است، امکان آموزش سریعتر و مقرون به صرفه تر را فراهم می کند.
• فرآیند یادگیری تکراری: علاوه بر تنظیم دقیق تحت نظارت سنتی، Orca-Math تحت یک فرآیند یادگیری تکراری قرار گرفت. حل مسائل را تمرین می کرد و به طور مداوم بر اساس بازخورد سیگنال "معلم" بهبود می یافت

یافته‌های ما نشان می‌دهد که مدل‌های کوچک‌تر در تنظیمات تخصصی که می‌توانند با عملکرد مدل‌های بسیار بزرگ‌تر اما با دامنه محدود مطابقت داشته باشند، ارزشمند هستند. تیم تحقیقاتی مایکروسافت نوشت: با آموزش Orca-Math بر روی مجموعه داده کوچکی از 200,000 مسئله ریاضی، ما به سطوح عملکردی دست یافته‌ایم که با مدل‌های بسیار بزرگ‌تر رقابت می‌کند یا از آنها پیشی می‌گیرد.