Databricks の 10 万ドル相当の新しい DBRX オープンソース言語モデルがついに登場
10 万ドルとトレーニングに 2 か月かかったオープンソース モデルとしては、これは驚異的です。
2分。 読んだ
上で公開
この記事を共有する
このガイドを改善する
MSPoweruser の編集チームの維持にどのように貢献できるかについては、開示ページをお読みください。 続きを読む
キーノート
- Databricks は、GitHub および Hugging Face 上で生成 AI モデルのセットである DBRX を開始します。
- DBRX には、命令ベースのタスク用の DBRX Base とカスタマイズ用の DBRX Instruct が含まれています。
- GPT-3.5 などの他のモデルを実行し、それを上回るパフォーマンスを発揮するには、強力なハードウェアが必要です。
Databricks は最近、次のことを発表しました。 DBRX の起動、その生成 AI モデルのセットは現在 GitHub と Hugging Face で利用可能です。 12T トークンで事前トレーニングされ、GLU と GQA を使用し、マルチモーダルではありません (イメージを実行できません)。
このモデルには、命令ベースのタスク用に最適化された DBRX Base と、さらなるカスタマイズに適した事前トレーニング済みモデルの DBRX Instruct の 132 つのバージョンがあります。 XNUMXB パラメータ モデルはオープンソースで英語で利用できますが、フランス語、ドイツ語、スペイン語にも翻訳できるとされています。
Databricks の生成 AI 担当副社長、Naveen Rao 氏が次のように明らかにしました。 TechCrunchの 同社がモデルのトレーニングに 10 万ドルと 4 か月を投資したとのインタビュー。ただし、問題は、これらのモデルを実行するには、少なくとも 100 つの Nvidia H320 GPU または同等のメモリ、合計 XNUMX GB のメモリ、またはほぼ同様の要件を持つサードパーティのクラウドなどの大型ハードウェアが必要であることです。
その プレスリリース, DBRX は、LLaMA2-70B、GPT-3.5、Mixtral、および Grok-1 数学や論理などの特定の事柄について。これらを Databricks Model Serving で直接動作させることも、Databricks Open Model License で使用するライセンスが付与されているため、特定のニーズに合わせてさらにカスタマイズすることもできます。
これらは、Databricks Model Serving に直接デプロイすることも、微調整やバッチ推論の目的で利用することもできます。
Databricks の DBRX オープンソース モデルを試すことができます こちら.
