Gemini Ultra vs GPT 4: como o Google Gemini vence o OpenAI GPT-4 na maioria dos benchmarks

O novo modelo de linguagem do Google, GeminiO principal modelo da OpenAI, Gemini Ultra, superou o GPT-4 da OpenAI em testes de benchmark abrangentes. Desde tarefas baseadas em texto até compreensão complexa de multimídia, Gemini demonstrou consistentemente um desempenho superior.

Desempenho baseado em texto:

• Raciocínio em várias etapas (Big-Bench Hard): O Gemini Ultra ultrapassou o GPT-4, demonstrando sua capacidade de seguir instruções complexas e resolver problemas de múltiplas etapas.
• Compreensão de leitura (DROP): Gêmeos se destacou na compreensão das nuances do texto, superando o GPT-4 na extração precisa de informações e na resposta a perguntas com base na leitura de trechos.
• Raciocínio de bom senso para tarefas diárias (HellaSwag): Embora o GPT-4 tenha superado o Gemini nesta categoria, ambos os modelos demonstraram capacidades notáveis ​​na aplicação do conhecimento do senso comum a situações cotidianas.

Processamento multimídia:

• Tarefas relacionadas à imagem: Gemini passou em todos os testes envolvendo processamento de imagens, demonstrando capacidades superiores em raciocínio de nível universitário, compreensão natural de imagens, OCR, compreensão de documentos, análise de infográficos e raciocínio matemático em contextos visuais.
• Processamento de vídeo: Gemini triunfou em dois testes relacionados a vídeos, destacando-se na captura de legendas em inglês e na resposta a perguntas em vídeo.
• Processamento de áudio: Gemini superou os testes de áudio, demonstrando desempenho superior de tradução automática de fala e desempenho de reconhecimento.

No geral, o Gemini superou o GPT4, exceto no raciocínio de bom senso para tarefas diárias (HellaSwag).

A imagem é clara: o Gemini Ultra do Google se estabeleceu como o principal modelo de linguagem de grande porte, superando seu concorrente, o GPT-4, em diversas tarefas. 

Mais informações aqui.