Gemini Ultra vs GPT 4: Jak Google Gemini poráží OpenAI GPT-4 ve většině benchmarků

Nový jazykový model Google, GeminiNejvyšší model, Gemini Ultra, překonal OpenAI GPT-4 v komplexních srovnávacích testech. Od úloh založených na textu až po komplexní porozumění multimédiím, Gemini trvale prokazovali vynikající výkon.

Výkon založený na textu:

• Vícekrokové uvažování (Big-Bench Hard): Gemini Ultra překonal GPT-4 a ukázal svou schopnost řídit se složitými instrukcemi a řešit vícestupňové problémy.
• Čtení s porozuměním (DROP): Blíženci vynikali v porozumění nuancím textu, překonali GPT-4 v přesném extrahování informací a odpovídali na otázky na základě čtení pasáží.
• Uvažování selským rozumem pro každodenní úkoly (HellaSwag): Zatímco GPT-4 v této kategorii předčil Gemini, oba modely prokázaly pozoruhodné schopnosti při aplikaci znalostí zdravého rozumu v každodenních situacích.

Multimediální zpracování:

• Úkoly související s obrázky: Gemini obstáli ve všech testech zahrnujících zpracování obrazu a prokázali vynikající schopnosti v oblasti uvažování na vysokoškolské úrovni, porozumění přirozenému obrazu, OCR, porozumění dokumentům, infografické analýzy a matematického uvažování ve vizuálních kontextech.
• Zpracování videa: Blíženci triumfovali ve dvou testech souvisejících s videem, přičemž excelovali v zachycení anglických titulků a v odpovědích na video otázky.
• Zpracování zvuku: Gemini provedli zvukové testy a prokázali vynikající výkon automatického překladu a rozpoznávání řeči.

Celkově Gemini překonala GPT4 s výjimkou zdravého rozumu pro každodenní úkoly (HellaSwag).

Obrázek je jasný: Gemini Ultra od Googlu se etabloval jako přední velký jazykový model a v různých úkolech překonal svého konkurenta GPT-4. 

Více informací zde.