Gemini Ultra vs GPT 4: Hvordan Google Gemini slår OpenAI GPT-4 i de fleste benchmarks

Googles nye språkmodell, Geminisin toppmodell, Gemini Ultra, har overgått OpenAIs GPT-4 i omfattende benchmark-tester. Fra tekstbaserte oppgaver til kompleks multimedieforståelse, viste Gemini konsekvent overlegen ytelse.

Tekstbasert ytelse:

• Flertrinns resonnement (Big-Bench Hard): Gemini Ultra overgikk GPT-4, og viser dens evne til å følge komplekse instruksjoner og løse flertrinnsproblemer.
• Leseforståelse (DROP): Tvillingene utmerket seg i å forstå nyansene i tekst, og oversteg GPT-4 når det gjaldt å trekke ut informasjon nøyaktig og svare på spørsmål basert på lesepassasjer.
• Sunn fornuft resonnement for hverdagslige gjøremål (HellaSwag): Mens GPT-4 klarte Gemini i denne kategorien, demonstrerte begge modellene bemerkelsesverdige evner til å bruke kunnskap om sunn fornuft i hverdagslige situasjoner.

Multimediebehandling:

• Bilderelaterte oppgaver: Gemini besto alle tester som involverte bildebehandling, og demonstrerte overlegne evner innen resonnement på college-nivå, naturlig bildeforståelse, OCR, dokumentforståelse, infografisk analyse og matematisk resonnement i visuelle sammenhenger.
• Videobehandling: Tvillingene triumferte i to videorelaterte tester, og utmerket seg i engelsk bildetekst og svar på videospørsmål.
• Lydbehandling: Gemini feide lydtestene, og demonstrerte overlegen automatisk taleoversettelse og gjenkjenningsytelse.

Totalt sett overgikk Gemini GPT4 bortsett fra sunn fornuft resonnement for hverdagslige oppgaver (HellaSwag).

Bildet er klart: Googles Gemini Ultra har etablert seg som den ledende store språkmodellen, og har overgått konkurrenten GPT-4 på tvers av ulike oppgaver. 

Informasjon her..