Databricks 價值 10 萬美元的新 DBRX 開源語言模型終於來了
對於一個花費 10 萬美元和 2 個月訓練時間的開源模型來說，這是令人印象深刻的。
2分鐘讀
發表於
分享此文章
改進本指南
重點說明
- Databricks 在 GitHub 和 Hugging Face 上推出了 DBRX，這是一套生成式 AI 型號。
- DBRX 包括用於基於指令的任務的 DBRX Base 和用於自訂的 DBRX Instruct。
- 它需要強大的硬體才能運行，並且性能優於 GPT-3.5 等其他模型。
Databricks 最近剛宣布 啟動 DBRX，其生成式 AI 模型集現已在 GitHub 和 Hugging Face 上提供。它在 12T 令牌上進行了預訓練，使用 GLU 和 GQA，並且不是多模式的（無法運行影像）。
模型有兩個版本：DBRX Base（針對基於指令的任務進行了最佳化）和 DBRX Instruct（適合進一步客製化的預訓練模型）。 132B 參數模型是開源的，並且有英文版本，儘管它聲稱也能夠翻譯成法語、德語和西班牙語。
Databricks 的生成人工智慧副總裁 Naveen Rao 在報告中透露 TechCrunch的 訪談中透露，該公司投入了 10 萬美元和兩個月的時間來訓練模型。但問題是，運行這些模型需要大量硬件，例如至少 4 個 Nvidia H100 GPU 或同等設備，總計 320GB 內存，或者俱有或多或少類似要求的第三方雲。
根據它的 新聞稿，DBRX 聲稱它可以超越現有的開源模型，如 LLaMA2-70B、GPT-3.5、Mixtral 和 格羅克-1 在某些事情上，如數學、邏輯等。您可以將它們直接與 Databricks Model Serving 配合使用，或根據特定需求進一步自訂它們，因為它們已獲得 Databricks 開放模型許可證的使用許可。
它們可以直接部署到 Databricks Model Serving 或用於微調和批量推理目的。
您可以嘗試Databricks的DBRX開源模型 点击這裡.
