Microsoft Orca-Math は、数学の問題を解決する際に GPT-3.5 や Gemini Pro よりも優れたパフォーマンスを発揮する小規模な言語モデルです。

今日のマイクロソフトリサーチ 発表の Orca-Math は、数学の問題を解決する際に、Gemini Pro や GPT-3.5 などのはるかに大きなモデルよりも優れたパフォーマンスを発揮できる小規模言語モデル (SLM) です。 Orca-Math は、特殊化された SLM が特定のドメインでどのように優れているか、さらには大規模なモデルを上回るパフォーマンスを発揮できるかを例示しています。このモデルは Microsoft によって最初から作成されたものではなく、Mistral 7B モデルを微調整して作成されたものであることに注意することが重要です。

ベンチマークによると、Orca-Math は GSM86.81k pass@8 で 1% を達成しました。この数字は、Meta の LLAMA-2-70、Google の Gemini Pro、OpenAI の GPT-3.5、さらには MetaMath-70B や WizardMa8th-70B などの数学専用モデルをも上回ります。 Orca-Math の構築に基づいた基本モデル Mistral-7B は、GSM37.83K で 8% しか達成できなかったことに注意することが重要です。

Microsoft Research は、次の手法に従ってこの素晴らしいパフォーマンスを達成することができました。

• 高品質の合成データ: Orca-Math は次のデータセットでトレーニングされました。 200,000 問の数学の問題、マルチエージェント (AutoGen) を使用して細心の注意を払って作成されています。このデータセットは他の数学データセットよりも小さいですが、より高速でコスト効率の高いトレーニングが可能になりました。
• 反復学習プロセス: 従来の教師付き微調整に加えて、Orca-Math では反復学習プロセスが行われました。問題を解決する練習をし、「教師」信号からのフィードバックに基づいて継続的に改善しました。

「私たちの調査結果は、より大きなモデルのパフォーマンスに匹敵するものの、範囲が限られている特殊な環境では、より小さなモデルが価値があることを示しています。 200,000 個の数学問題の小規模なデータセットで Orca-Math をトレーニングすることにより、はるかに大規模なモデルに匹敵する、またはそれを上回るパフォーマンス レベルを達成しました」と Microsoft Research チームは書いています。