OpenAI の新しい GPT-4o モデルが Gemini と Claude を破り、新たなベンチマークを設定

読書時間アイコン 2分。 読んだ


読者は MSpoweruser のサポートを支援します。私たちのリンクを通じて購入すると、手数料が発生する場合があります。 ツールチップアイコン

MSPoweruser の編集チームの維持にどのように貢献できるかについては、開示ページをお読みください。 続きを読む

OpenAI GPT-4o モデル

今日、OpenAI 発表の 最新のフラッグシップモデル「GPT-4o」。 GPT-4o (o は「オムニ」を意味します) モデルが、開発者向けの API 経由で利用できるようになりました。新しい GPT-4o モデルは、GPT-4 Turbo と同じくらいスマートですが、視覚機能が向上し、はるかに効率的です。

OpenAI は、この新しいモデルは 2 倍高速で 50% 安く、5 倍のレート制限があると主張しています。 GPT-4 Turbo の価格は 14 万トークンで 4 ドルですが、GPT-7o の価格は 4 万トークンでわずか 10 ドルです。はい、GPT-4o モデルは 128 分あたり最大 2023 万トークンをサポートします。 GPT-XNUMXo モデル API は、現時点ではテキストとビジョンをサポートしますが、オーディオとビデオのサポートは近日中に開始されます。また、モデルには XNUMXK コンテキストと XNUMX 年 XNUMX 月のナレッジ カットオフがあります。

ジェミニやクロードと比較した場合、GPT-4o のパフォーマンスはどうですか?

過去数日間、OpenAI は LMSys アリーナで、im-only-a-good-gpt4-chatbot として GPT-2o モデルのバージョンをテストしていました。上の表からわかるように、GPT-4o は現時点で世界最高のモデルであり、すべての ChatGPT ユーザーが無料で利用できます。

新しい GPT-4o モデルは、いくつかの標準 AI ベンチマークでも記録を打ち立てています。以下をチェックしてください。

モデルプロンプトMMLUGPQA数学HumanEvalMGSMDROP
(F1,3ショット)
OPENAI GPT4
gpt-4oチャットポイント188.753.676.690.290.583.4
gpt-4oアシスタント287.249.976.691.089.983.7
gpt-4-turbo-2024-04-09チャットポイント86.549.172.287.688.685.4
gpt-4-turbo-2024-04-09アシスタント86.749.373.488.289.686.0
gpt-4-1106(-vision)-プレビューチャットポイント84.642.164.182.286.581.3
gpt-4-1106(-vision)-プレビューアシスタント84.742.564.383.787.183.2
gpt-4-0125-プレビューチャットポイント84.839.764.288.283.783.4
gpt-4-0125-プレビューアシスタント85.441.464.586.685.181.5
リファレンス-再実行
Claude-3-Opus (API 付きの再実行)空の384.149.763.284.889.779.0
Claude-3-Opus (API 付きの再実行)lmsys484.250.763.882.989.277.1
Llama3 70b (API を使用した再実行)空の80.241.352.870.182.681.4
参考レポート(5発)
Claude-3-Opus (レポート)5)未知の86.850.460.184.990.783.1
Gemini-Ultra-1.0 (レポート)6)未知の83.7N / A53.274.479.082.4
Gemini-Pro-1.5 (レポート)6)未知の81.9N / A58.571.988.778.9
Llama3 8b (レポート)7)未知の68.434.230.062.2N / A58.4
Llama3 70b (レポート)7)未知の82.039.550.481.7N / A79.7
Llama3 400b (トレーニング中、レポート)7)未知の86.148.057.884.1N / A83.5

開発者は GPT-4o モデルを次の場所で試すことができます。 OpenAI プレイグラウンド.

OpenAI は、モデルの改善を継続できるように、GPT-4 Turbo が依然として GPT-4o よりも優れているタスクを特定するのに協力するよう一般に呼びかけています。

トピックの詳細: GPT-4o, オープンAI

コメントを残す

あなたのメールアドレスは公開されません。 必須フィールドは、マークされています *