Gemini Ultra versus GPT 4: hoe Google Gemini OpenAI GPT-4 verslaat in de meeste benchmarks

Het nieuwe taalmodel van Google, Gemini's topmodel, Gemini Ultra, presteert beter dan OpenAI's GPT-4 in uitgebreide benchmarktests. Van op tekst gebaseerde taken tot complex multimediabegrip: Gemini toonde consequent superieure prestaties.

Op tekst gebaseerde prestaties:

• Meerstapsredenering (Big-Bench Hard): Gemini Ultra overtrof GPT-4 en toonde zijn vermogen om complexe instructies te volgen en problemen uit meerdere stappen op te lossen.
• Begrijpend lezen (DROP): Gemini blonk uit in het begrijpen van de nuances van tekst, overtrof GPT-4 in het nauwkeurig extraheren van informatie en het beantwoorden van vragen op basis van gelezen passages.
• Gezond verstand redeneren voor alledaagse taken (HellaSwag): Hoewel GPT-4 Gemini in deze categorie achter zich liet, toonden beide modellen opmerkelijke capaciteiten bij het toepassen van gezond verstand op alledaagse situaties.

Multimediaverwerking:

• Beeldgerelateerde taken: Gemini slaagde voor alle tests op het gebied van beeldverwerking en demonstreerde superieure capaciteiten op het gebied van redeneren op universitair niveau, het begrijpen van natuurlijke beelden, OCR, het begrijpen van documenten, infographic-analyse en wiskundig redeneren in visuele contexten.
• Videoverwerking: Gemini zegevierde in twee videogerelateerde tests en blonk uit in het vastleggen van Engelse ondertiteling en het beantwoorden van videovragen.
• Audioverwerking: Gemini slaagde voor de audiotests en demonstreerde superieure automatische spraakvertaling en -herkenningsprestaties.

Over het geheel genomen presteerde Gemini beter dan GPT4, behalve op het gebied van gezond verstand redeneren voor alledaagse taken (HellaSwag).

Het beeld is duidelijk: Google's Gemini Ultra heeft zichzelf gevestigd als het toonaangevende grote taalmodel en presteert beter dan zijn concurrent, GPT-4, op verschillende taken. 

Meer info hier.