Gemini Ultra 與 GPT 4：Google Gemini 如何在大多數基準測試中擊敗 OpenAI GPT-4

谷歌的新語言模式Gemini其頂級模型 Gemini Ultra 在綜合基準測試中的表現優於 OpenAI 的 GPT-4。 從基於文字的任務到複雜的多媒體理解，Gemini 始終表現出卓越的性能。

基於文字的表現：

• 多步驟推理（Big-Bench Hard）： Gemini Ultra 超越了 GPT-4，展現了其遵循複雜指令並解決多步驟問題的能力。
• 閱讀理解（下降）： Gemini 在理解文本的細微差別方面表現出色，在根據閱讀段落準確提取資訊和回答問題方面超過了 GPT-4。
• 日常任務的常識推理 (HellaSwag)： 雖然 GPT-4 在這一類別中擊敗了 Gemini，但這兩種模型都表現出了將常識知識應用於日常情況的卓越能力。

多媒體處理：

• 影像相關任務： Gemini 在所有涉及影像處理的測驗中都取得了優異成績，展現了在大學程度推理、自然影像理解、OCR、文件理解、資訊圖表分析和視覺脈絡中的數學推理方面的卓越能力。
• 視頻處理： Gemini 在兩個視訊相關測試中取得了勝利，在英語字幕捕捉和視訊問答方面表現出色。
• 音頻處理： Gemini橫掃音訊測試，展現出卓越的自動語音翻譯和辨識效能。

整體而言，除了日常任務的常識推理 (HellaSwag) 之外，Gemini 的表現優於 GPT4。

情況很清楚：Google 的 Gemini Ultra 已成為領先的大型語言模型，在各種任務上都優於其競爭對手 GPT-4。 

更多信息 這裡.