OpenAI が GPT-4 Turbo のレート制限を 1.5 倍にし、XNUMX 分あたり最大 XNUMX 万トークンまで増加

このモデルは昨年初めて発売されました。

読書時間アイコン 2分。 読んだ


読者は MSpoweruser のサポートを支援します。私たちのリンクを通じて購入すると、手数料が発生する場合があります。 ツールチップアイコン

MSPoweruser の編集チームの維持にどのように貢献できるかについては、開示ページをお読みください。 続きを読む

キーノート

  • OpenAI は、GPT-4 Turbo のレート制限を普遍的に XNUMX 倍に引き上げました。
  • 現在、1.5 分あたり最大 XNUMX 万トークン (TPM) が提供されます。
  • 組織レベルに課されるレート制限は、悪用を防ぐために API アクセスに課される制限です。

OpenAIが最初にリリースされてからしばらく時間が経ちました GPT-4ターボ 昨年 128 月の OAI の DevDay イベントでのことです。当時、マイクロソフトが支援するこの企業は、このモデルは 3 のトークンをサポートしていると発表しました。入力トークンは GPT-2 よりも 4 倍安く、出力トークンは XNUMX 倍安くなります。

今、状況は変わりつつあるようです。同社は、 GPT-4 Turbo レート制限の増加 普遍的に 2 倍になり、1 日の制限が完全に撤廃され、現在は 最大1.5万 1 分あたりのトークン数 (TPM)。

馴染みのない方のために説明すると、組織レベルに課せられるレート制限は、悪用を防止し、公平性を確保し、インフラストラクチャの負荷を管理するために API アクセスに課される制限です。これらは、API の悪意のある過負荷を防止し、すべてのユーザーに公平なアクセスを保証し、指定された時間枠内で許可されるリクエストの数を調整することで、高需要期間中のスムーズなパフォーマンスを維持します。

それぞれの使用には異なる料金プランが適用されます。 OpenAI は少なくとも 100 つの使用レベルを提供しています。無料バージョンは月額 5 ドルに制限されており、大規模な組織の場合は月額 10,000 ドルのレベル XNUMX まであります。

次の方法で画像分析の力を活用することもできます。 GPT-4 ターボ (ビジョン付き) Azure OpenAIを通じて。この高度なマルチモーダル AI モデルは、GPT-4 Turbo の機能と画像分析機能を組み合わせており、画像について質問し、洞察力に富んだテキストによる回答を受け取ることができます。