Gemini Ultra vs GPT 4: Ako Google Gemini poráža OpenAI GPT-4 vo väčšine benchmarkov

Nový jazykový model Google, GeminiNajvyšší model, Gemini Ultra, prekonal OpenAI GPT-4 v komplexných benchmarkových testoch. Od textových úloh až po komplexné porozumenie multimédií, Gemini neustále preukazovali vynikajúci výkon.

Výkonnosť založená na texte:

• Viacstupňové uvažovanie (Big-Bench Hard): Gemini Ultra prekonal GPT-4 a ukázal svoju schopnosť riadiť sa zložitými pokynmi a riešiť viackrokové problémy.
• Čítanie s porozumením (DROP): Blíženci vynikali v porozumení nuansám textu, prekonali GPT-4 v presnom získavaní informácií a odpovedaní na otázky na základe čítania pasáží.
• Zdravý rozum pre každodenné úlohy (HellaSwag): Zatiaľ čo GPT-4 v tejto kategórii prekonal Gemini, oba modely preukázali pozoruhodné schopnosti pri aplikovaní vedomostí zdravého rozumu v každodenných situáciách.

Multimediálne spracovanie:

• Úlohy súvisiace s obrázkom: Gemini obstáli vo všetkých testoch zahŕňajúcich spracovanie obrazu a preukázali vynikajúce schopnosti v oblasti uvažovania na vysokej škole, porozumenia prirodzenému obrazu, OCR, porozumenia dokumentu, infografickej analýzy a matematického uvažovania vo vizuálnych kontextoch.
• Spracovanie videa: Blíženci triumfovali v dvoch testoch súvisiacich s videom, pričom excelovali v zachytávaní anglických titulkov a odpovedaní na video otázky.
• Spracovanie zvuku: Gemini prekonali zvukové testy a preukázali vynikajúci výkon automatického prekladu a rozpoznávania reči.

Celkovo Gemini prekonali GPT4 s výnimkou zdravého rozumu pri každodenných úlohách (HellaSwag).

Obrázok je jasný: Gemini Ultra od Google sa etabloval ako popredný veľký jazykový model, ktorý v rôznych úlohách prekonal svojho konkurenta GPT-4. 

Viac informácií tu.