Microsoft Orca-Math 是一种小型语言模型，在解决数学问题方面可以超越 GPT-3.5 和 Gemini Pro

今天的微软研究院 公布 Orca-Math，一种小型语言模型 (SLM)，在解决数学问题方面可以胜过 Gemini Pro 和 GPT-3.5 等大型模型。 Orca-Math 举例说明了专门的 SLM 如何在特定领域表现出色，甚至超越更大的模型。需要注意的是，这个模型并不是微软从头开始创建的，而是通过对 Mistral 7B 模型进行微调创建的。

根据基准测试，Orca-Math 在 GSM86.81k pass@8 上取得了 1% 的成绩。这个数字击败了 Meta 的 LLAMA-2-70、Google 的 Gemini Pro、OpenAI 的 GPT-3.5，甚至击败了 MetaMath-70B 和 WizardMa8th-70B 等数学专用模型。值得注意的是，Orca-Math 所基于的基础模型 Mistral-7B 在 GSM37.83K 上仅实现了 8%。

Microsoft Research 通过遵循以下技术实现了这一令人印象深刻的性能：

• 高质量的综合数据：Orca-Math 在数据集上进行了训练 200,000 道数学题，使用多代理 (AutoGen) 精心制作。虽然该数据集比其他一些数学数据集小，但它允许更快、更经济高效的训练。
• 迭代学习过程：除了传统的监督微调之外，Orca-Math 还经历了迭代学习过程。它练习解决问题并根据“老师”信号的反馈不断改进

“我们的研究结果表明，较小的模型在特殊环境中很有价值，它们可以与较大模型的性能相匹配，但范围有限。通过在包含 200,000 个数学问题的小数据集上训练 Orca-Math，我们已经达到了与更大模型相媲美或超越的性能水平，”微软研究团队写道。