Gemini Ultra vs GPT 4: come Google Gemini batte OpenAI GPT-4 nella maggior parte dei benchmark

Il nuovo modello linguistico di Google, GeminiIl modello di punta di, Gemini Ultra, ha superato il GPT-4 di OpenAI nei test benchmark completi. Dalle attività basate su testo alla comprensione multimediale complessa, Gemini ha costantemente dimostrato prestazioni superiori.

Prestazioni basate su testo:

• Ragionamento multistep (Big-Bench Hard): Gemini Ultra ha superato GPT-4, dimostrando la sua capacità di seguire istruzioni complesse e risolvere problemi costituiti da più passaggi.
• Comprensione della lettura (DROP): I Gemelli eccellevano nel comprendere le sfumature del testo, superando GPT-4 nell'estrarre accuratamente le informazioni e nel rispondere alle domande basate sulla lettura dei passaggi.
• Ragionamento basato sul buon senso per le attività quotidiane (HellaSwag): Sebbene GPT-4 abbia superato Gemini in questa categoria, entrambi i modelli hanno dimostrato notevoli capacità nell’applicare la conoscenza del buon senso alle situazioni quotidiane.

Elaborazione multimediale:

• Attività relative alle immagini: Gemini ha superato tutti i test riguardanti l'elaborazione delle immagini, dimostrando capacità superiori nel ragionamento a livello universitario, nella comprensione naturale delle immagini, nell'OCR, nella comprensione dei documenti, nell'analisi delle infografiche e nel ragionamento matematico in contesti visivi.
• Elaborazione video: Gemini ha trionfato in due test relativi ai video, eccellendo nell'acquisizione di sottotitoli in inglese e nella risposta alle domande video.
• Elaborazione audio: Gemini ha superato i test audio, dimostrando prestazioni superiori nella traduzione automatica e nel riconoscimento del parlato.

Nel complesso, Gemini ha sovraperformato GPT4 tranne che nel ragionamento basato sul buon senso per le attività quotidiane (HellaSwag).

Il quadro è chiaro: Gemini Ultra di Google si è affermato come il principale modello linguistico di grandi dimensioni, superando il suo concorrente, GPT-4, in vari compiti. 

Ulteriori informazioni qui.