Gemini Ultra vs GPT 4: Bagaimana Google Gemini mengalahkan OpenAI GPT-4 di sebagian besar tolok ukur

Model bahasa baru Google, GeminiModel teratas, Gemini Ultra, telah mengungguli GPT-4 OpenAI dalam pengujian benchmark komprehensif. Dari tugas berbasis teks hingga pemahaman multimedia yang kompleks, Gemini secara konsisten menunjukkan kinerja yang unggul.

Kinerja Berbasis Teks:

• Penalaran multilangkah (Big-Bench Hard): Gemini Ultra melampaui GPT-4, menunjukkan kemampuannya untuk mengikuti instruksi rumit dan memecahkan masalah multi-langkah.
• Pemahaman membaca (DROP): Gemini unggul dalam memahami nuansa teks, melebihi GPT-4 dalam mengekstraksi informasi secara akurat dan menjawab pertanyaan berdasarkan bacaan.
• Penalaran akal sehat untuk tugas sehari-hari (HellaSwag): Meskipun GPT-4 mengungguli Gemini dalam kategori ini, kedua model tersebut menunjukkan kemampuan luar biasa dalam menerapkan pengetahuan akal sehat dalam situasi sehari-hari.

Pemrosesan Multimedia:

• Tugas yang berhubungan dengan gambar: Gemini unggul dalam semua tes yang melibatkan pemrosesan gambar, menunjukkan kemampuan unggul dalam penalaran tingkat perguruan tinggi, pemahaman gambar alami, OCR, pemahaman dokumen, analisis infografis, dan penalaran matematis dalam konteks visual.
• Pemrosesan video: Gemini menang dalam dua tes terkait video, unggul dalam pengambilan teks bahasa Inggris dan menjawab pertanyaan video.
• Pemrosesan audio: Gemini menyapu bersih tes audio, menunjukkan kinerja terjemahan dan pengenalan ucapan otomatis yang unggul.

Secara keseluruhan, Gemini mengungguli GPT4 kecuali dalam alasan akal sehat untuk tugas sehari-hari (HellaSwag).

Gambarannya jelas: Gemini Ultra dari Google telah memantapkan dirinya sebagai model bahasa besar terkemuka, mengungguli pesaingnya, GPT-4, dalam berbagai tugas. 

Info lebih lanjut di sini.