Microsoft Orca-Math es un modelo de lenguaje pequeño que puede superar a GPT-3.5 y Gemini Pro en la resolución de problemas matemáticos
2 minuto. leer
Publicado el
Compartir este artículo
Mejorar esta guía
Lea nuestra página de divulgación para descubrir cómo puede ayudar a MSPoweruser a sostener el equipo editorial. Leer más
Notas clave
- Según los puntos de referencia, Orca-Math logró un 86.81% en GSM8k pass@1.
- Este número supera al LLAMA-2-70 de Meta, al Gemini Pro de Google, al GPT-3.5 de OpenAI e incluso a modelos específicos de matemáticas como MetaMath-70B y WizardMa8th-70B.
Investigación de Microsoft hoy anunció Orca-Math, un modelo de lenguaje pequeño (SLM) que puede superar a modelos mucho más grandes como Gemini Pro y GPT-3.5 en la resolución de problemas matemáticos. Orca-Math ejemplifica cómo los SLM especializados pueden sobresalir en dominios específicos, incluso superando a modelos más grandes. Es importante tener en cuenta que este modelo no fue creado desde cero por Microsoft, sino que se creó ajustando el modelo Mistral 7B.
Según los puntos de referencia, Orca-Math logró un 86.81% en GSM8k pass@1. Este número supera al LLAMA-2-70 de Meta, al Gemini Pro de Google, al GPT-3.5 de OpenAI e incluso a modelos específicos de matemáticas como MetaMath-70B y WizardMa8th-70B. Es importante señalar que el modelo base Mistral-7B sobre el cual se construyó Orca-Math logró solo el 37.83% en GSM8K.
Microsoft Research pudo lograr este impresionante rendimiento siguiendo las siguientes técnicas:
- Datos sintéticos de alta calidad: Orca-Math fue entrenado en un conjunto de datos de 200,000 problemas de matemáticas, meticulosamente elaborado utilizando multiagentes (AutoGen). Si bien este conjunto de datos es más pequeño que otros conjuntos de datos matemáticos, permitió una capacitación más rápida y rentable.
- Proceso de aprendizaje iterativo: Además del tradicional ajuste supervisado, Orca-Math pasó por un proceso de aprendizaje iterativo. Practicó la resolución de problemas y mejoró continuamente basándose en la retroalimentación de una señal de "maestro".
“Nuestros hallazgos muestran que los modelos más pequeños son valiosos en entornos especializados donde pueden igualar el rendimiento de modelos mucho más grandes pero con un alcance limitado. Al entrenar Orca-Math en un pequeño conjunto de datos de 200,000 problemas matemáticos, hemos logrado niveles de rendimiento que rivalizan o superan los de modelos mucho más grandes”, escribió el equipo de investigación de Microsoft.
