Microsoft Orca-Math é um modelo de linguagem pequena que pode superar GPT-3.5 e Gemini Pro na resolução de problemas matemáticos

Pesquisa da Microsoft hoje anunciou Orca-Math, um modelo de linguagem pequena (SLM) que pode superar modelos muito maiores, como Gemini Pro e GPT-3.5, na resolução de problemas matemáticos. Orca-Math exemplifica como SLMs especializados podem se destacar em domínios específicos, superando até mesmo modelos maiores. É importante notar que este modelo não foi criado do zero pela Microsoft, mas sim através do ajuste fino do modelo Mistral 7B.

De acordo com benchmarks, a Orca-Math alcançou 86.81% no GSM8k pass@1. Este número supera o LLAMA-2-70 da Meta, o Gemini Pro do Google, o GPT-3.5 da OpenAI e até mesmo modelos específicos de matemática como MetaMath-70B e WizardMa8th-70B. É importante notar que o modelo básico Mistral-7B baseado no qual o Orca-Math foi construído alcançou apenas 37.83% no GSM8K.

A Microsoft Research conseguiu atingir esse desempenho impressionante seguindo as técnicas abaixo:

• Dados sintéticos de alta qualidade: Orca-Math foi treinado em um conjunto de dados de 200,000 problemas de matemática, meticulosamente elaborado usando multiagentes (AutoGen). Embora esse conjunto de dados seja menor do que alguns outros conjuntos de dados matemáticos, ele permitiu um treinamento mais rápido e econômico.
• Processo de aprendizagem iterativo: Além do tradicional ajuste fino supervisionado, o Orca-Math passou por um processo de aprendizagem iterativo. Praticou a resolução de problemas e melhorou continuamente com base no feedback de um sinal do “professor”

“Nossas descobertas mostram que modelos menores são valiosos em ambientes especializados, onde podem igualar o desempenho de modelos muito maiores, mas com escopo limitado. Ao treinar o Orca-Math em um pequeno conjunto de dados de 200,000 problemas matemáticos, alcançamos níveis de desempenho que rivalizam ou superam os de modelos muito maiores”, escreveu a equipe de pesquisa da Microsoft.