Databricks 价值 10 万美元的新 DBRX 开源语言模型终于来了
对于一个花费 10 万美元和 2 个月训练时间的开源模型来说，这是令人印象深刻的。
2分钟读
发表于
分享此文章
改进本指南
重点说明
- Databricks 在 GitHub 和 Hugging Face 上推出了 DBRX，这是一套生成式 AI 模型。
- DBRX 包括用于基于指令的任务的 DBRX Base 和用于定制的 DBRX Instruct。
- 它需要强大的硬件才能运行，并且性能优于 GPT-3.5 等其他模型。
Databricks 最近刚刚宣布 启动 DBRX，其生成式 AI 模型集现已在 GitHub 和 Hugging Face 上提供。它在 12T 令牌上进行了预训练，使用 GLU 和 GQA，并且不是多模式的（无法运行图像）。
该模型有两个版本：DBRX Base（针对基于指令的任务进行了优化）和 DBRX Instruct（适合进一步定制的预训练模型）。 132B 参数模型是开源的，并且有英文版本，尽管它声称也能够翻译成法语、德语和西班牙语。
Databricks 的生成人工智能副总裁 Naveen Rao 在一份报告中透露 TechCrunch 采访中透露，该公司投资了 10 万美元和两个月的时间来训练模型。但问题是，运行这些模型需要大量硬件，例如至少 4 个 Nvidia H100 GPU 或同等设备，总计 320GB 内存，或者具有或多或少类似要求的第三方云。
根据它 新闻稿，DBRX 声称它可以超越现有的开源模型，如 LLaMA2-70B、GPT-3.5、Mixtral 和 格罗克-1 某些事物，如数学、逻辑等。您可以将它们直接与 Databricks Model Serving 配合使用，或者根据特定需求进一步自定义它们，因为它们已获得 Databricks 开放模型许可证的使用许可。
它们可以直接部署到 Databricks Model Serving 或用于微调和批量推理目的。
您可以尝试Databricks的DBRX开源模型 点击此处.
