Gemini Ultra vs GPT 4: Hur Google Gemini slår OpenAI GPT-4 i de flesta benchmarks

Googles nya språkmodell, Geminis toppmodell, Gemini Ultra, har överträffat OpenAI:s GPT-4 i omfattande benchmark-tester. Från textbaserade uppgifter till komplex multimediaförståelse visade Gemini konsekvent överlägsen prestanda.

Textbaserad prestanda:

• Flerstegsresonemang (Big-Bench Hard): Gemini Ultra överträffade GPT-4, vilket visar upp dess förmåga att följa komplexa instruktioner och lösa problem i flera steg.
• Läsförståelse (DROP): Tvillingarna utmärkte sig i att förstå textens nyanser och överträffade GPT-4 när det gällde att extrahera information och svara på frågor baserade på läsningsställen.
• Sunt förnuftsresonemang för vardagliga sysslor (HellaSwag): Medan GPT-4 slog ut Tvillingarna i denna kategori, visade båda modellerna anmärkningsvärda möjligheter att tillämpa sunt förnuftskunskap i vardagliga situationer.

Multimediabehandling:

• Bildrelaterade uppgifter: Gemini klarade alla tester som involverade bildbehandling och visade överlägsna förmåga i resonemang på högskolenivå, naturlig bildförståelse, OCR, dokumentförståelse, infografisk analys och matematiska resonemang i visuella sammanhang.
• Videobearbetning: Tvillingarna triumferade i två videorelaterade tester, och utmärkte sig i att fånga texter på engelska och svara på videofrågor.
• Ljudbearbetning: Gemini svepte ljudtesterna och visade överlägsen automatisk talöversättning och igenkänningsprestanda.

Sammantaget överträffade Gemini GPT4 förutom i sunt förnuftsresonemang för vardagliga uppgifter (HellaSwag).

Bilden är tydlig: Googles Gemini Ultra har etablerat sig som den ledande stora språkmodellen och överträffat sin konkurrent, GPT-4, över olika uppgifter. 

Mer info här..