Microsoft Orca-Math เป็นโมเดลภาษาขนาดเล็กที่สามารถทำได้ดีกว่า GPT-3.5 และ Gemini Pro ในการแก้ปัญหาทางคณิตศาสตร์

การวิจัยของ Microsoft วันนี้ ประกาศ Orca-Math ซึ่งเป็นโมเดลภาษาขนาดเล็ก (SLM) ที่สามารถทำได้ดีกว่าโมเดลขนาดใหญ่อย่าง Gemini Pro และ GPT-3.5 ในการแก้ปัญหาทางคณิตศาสตร์ Orca-Math เป็นตัวอย่างว่า SLM เฉพาะทางสามารถเป็นเลิศในโดเมนเฉพาะได้อย่างไร แม้จะมีประสิทธิภาพเหนือกว่าโมเดลขนาดใหญ่ก็ตาม สิ่งสำคัญที่ควรทราบก็คือ Microsoft ไม่ได้สร้างโมเดลนี้ตั้งแต่ต้น แต่โมเดลนี้สร้างขึ้นโดยการปรับแต่งโมเดล Mistral 7B อย่างละเอียด

ตามเกณฑ์มาตรฐาน Orca-Math ทำได้ 86.81% บน GSM8k pass@1 ตัวเลขนี้เหนือกว่า LLAMA-2-70 ของ Meta, Gemini Pro ของ Google, GPT-3.5 ของ OpenAI และแม้แต่แบบจำลองทางคณิตศาสตร์โดยเฉพาะ เช่น MetaMath-70B และ WizardMa8th-70B สิ่งสำคัญที่ควรทราบก็คือรุ่นพื้นฐาน Mistral-7B ซึ่งใช้ Orca-Math สร้างขึ้นนั้นทำได้สำเร็จเพียง 37.83% บน GSM8K

Microsoft Research สามารถบรรลุประสิทธิภาพที่น่าประทับใจนี้ได้โดยปฏิบัติตามเทคนิคด้านล่าง:

• ข้อมูลสังเคราะห์คุณภาพสูง: Orca-Math ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลของ โจทย์คณิตศาสตร์ 200,000 ข้อสร้างขึ้นอย่างพิถีพิถันโดยใช้หลายตัวแทน (AutoGen) แม้ว่าชุดข้อมูลนี้จะเล็กกว่าชุดข้อมูลทางคณิตศาสตร์อื่นๆ บางชุด แต่ก็ทำให้การฝึกอบรมรวดเร็วและคุ้มต้นทุนมากขึ้น
• กระบวนการเรียนรู้ซ้ำ: นอกเหนือจากการปรับแต่งแบบละเอียดภายใต้การดูแลแบบเดิมๆ แล้ว Orca-Math ยังผ่านกระบวนการเรียนรู้แบบวนซ้ำอีกด้วย ฝึกฝนการแก้ปัญหาและปรับปรุงอย่างต่อเนื่องตามผลตอบรับจากสัญญาณ "ครู"

“การค้นพบของเราแสดงให้เห็นว่าโมเดลขนาดเล็กมีคุณค่าในการตั้งค่าเฉพาะด้าน ซึ่งสามารถจับคู่ประสิทธิภาพของโมเดลขนาดใหญ่กว่ามากแต่มีขอบเขตที่จำกัด ด้วยการฝึกอบรม Orca-Math บนชุดข้อมูลขนาดเล็กที่มีโจทย์คณิตศาสตร์ 200,000 ข้อ เราได้บรรลุระดับประสิทธิภาพที่ทัดเทียมหรือเหนือกว่าโมเดลที่ใหญ่กว่ามาก” ทีมวิจัยของ Microsoft เขียน