Microsoft Orca-Math adalah model bahasa kecil yang dapat mengungguli GPT-3.5 dan Gemini Pro dalam menyelesaikan masalah matematika

Riset Microsoft hari ini mengumumkan Orca-Math, model bahasa kecil (SLM) yang dapat mengungguli model yang jauh lebih besar seperti Gemini Pro dan GPT-3.5 dalam memecahkan masalah matematika. Orca-Math memberikan contoh bagaimana SLM khusus dapat unggul dalam domain tertentu, bahkan mengungguli model yang lebih besar. Penting untuk dicatat bahwa model ini tidak dibuat dari awal oleh Microsoft, melainkan model ini dibuat dengan menyempurnakan model Mistral 7B.

Berdasarkan tolok ukur, Orca-Math mencapai 86.81% pada GSM8k pass@1. Angka ini mengalahkan LLAMA-2-70 Meta, Gemini Pro Google, GPT-3.5 OpenAI, dan bahkan model khusus matematika seperti MetaMath-70B dan WizardMa8th-70B. Penting untuk dicatat bahwa model dasar Mistral-7B yang menjadi dasar pembuatan Orca-Math hanya mencapai 37.83% di GSM8K.

Microsoft Research mampu mencapai kinerja yang mengesankan ini dengan mengikuti teknik di bawah ini:

• Data Sintetis Berkualitas Tinggi: Orca-Math dilatih pada kumpulan data 200,000 soal matematika, dibuat dengan cermat menggunakan multi-agen (AutoGen). Meskipun kumpulan data ini lebih kecil dibandingkan kumpulan data matematika lainnya, kumpulan data ini memungkinkan pelatihan lebih cepat dan hemat biaya.
• Proses Pembelajaran Berulang: Selain penyempurnaan yang diawasi secara tradisional, Orca-Math menjalani proses pembelajaran berulang. Ini berlatih memecahkan masalah dan terus meningkatkannya berdasarkan umpan balik dari sinyal “guru”.

“Temuan kami menunjukkan bahwa model yang lebih kecil berguna dalam lingkungan khusus yang dapat menandingi kinerja model yang jauh lebih besar namun dengan cakupan terbatas. Dengan melatih Orca-Math pada kumpulan data kecil yang berisi 200,000 soal matematika, kami telah mencapai tingkat kinerja yang menyaingi atau melampaui model yang jauh lebih besar,” tulis tim Riset Microsoft.