Microsoft Orca-Math 是一種小型語言模型，在解決數學問題方面可以超越 GPT-3.5 和 Gemini Pro

今天的微軟研究院 宣布 Orca-Math，一種小型語言模型 (SLM)，在解決數學問題方面可以勝過 Gemini Pro 和 GPT-3.5 等大型模型。 Orca-Math 舉例說明了專門的 SLM 如何在特定領域表現出色，甚至超越更大的模型。需要注意的是，這個模型並不是微軟從頭開始創建的，而是透過對 Mistral 7B 模型進行微調創建的。

根據基準測試，Orca-Math 在 GSM86.81k pass@8 上取得了 1% 的成績。這個數字擊敗了 Meta 的 LLAMA-2-70、Google 的 Gemini Pro、OpenAI 的 GPT-3.5，甚至擊敗了 MetaMath-70B 和 WizardMa8th-70B 等數學專用模型。值得注意的是，Orca-Math 所基於的基礎模型 Mistral-7B 在 GSM37.83K 上僅實現了 8%。

Microsoft Research 透過遵循以下技術實現了這一令人印象深刻的性能：

• 高品質的綜合數據：Orca-Math 在資料集上進行了訓練 200,000 萬道數學題，使用多代理 (AutoGen) 精心製作。雖然該資料集比其他一些數學資料集小，但它允許更快、更經濟高效的訓練。
• 迭代學習過程：除了傳統的監督微調之外，Orca-Math 還經歷了迭代學習過程。它練習解決問題並根據“老師”信號的反饋不斷改進

「我們的研究結果表明，較小的模型在特殊環境中很有價值，它們可以與較大模型的性能相匹配，但範圍有限。透過在包含 200,000 個數學問題的小數據集上訓練 Orca-Math，我們已經達到了與更大模型相媲美或超越的性能水平，」微軟研究團隊寫道。