Các mô hình ngôn ngữ nguồn mở DBRX mới trị giá 10 triệu USD của Databricks cuối cùng cũng đã xuất hiện

Databricks vừa mới thông báo rằng ra mắt DBRX, bộ mô hình AI tổng hợp hiện có sẵn trên GitHub và Ôm mặt. Nó được đào tạo trước về mã thông báo 12T, sử dụng GLU và GQA và không phải là đa phương thức (không thể chạy hình ảnh).

Mô hình này có hai phiên bản, DBRX Base, được tối ưu hóa cho các tác vụ dựa trên hướng dẫn và DBRX Instruct, một mô hình được đào tạo trước phù hợp để tùy chỉnh thêm. Mô hình tham số 132B là nguồn mở và có sẵn bằng tiếng Anh, mặc dù nó tuyên bố có khả năng dịch sang tiếng Pháp, tiếng Đức và tiếng Tây Ban Nha.

Phó chủ tịch AI sáng tạo của Databricks, Naveen Rao, đã tiết lộ trong một TechCrunch phỏng vấn rằng công ty đã đầu tư 10 triệu USD và hai tháng để đào tạo người mẫu. Nhưng điều đáng chú ý là, việc chạy các mô hình này đòi hỏi phần cứng khổng lồ, như tối thiểu 4 GPU Nvidia H100 hoặc tương đương, tổng bộ nhớ 320GB hoặc đám mây của bên thứ ba có ít nhiều yêu cầu tương tự. 

Theo nó nhấn phát hành, DBRX tuyên bố rằng nó có thể hoạt động tốt hơn các mô hình nguồn mở hiện có như LLaMA2-70B, GPT-3.5, Mixtral và Grok-1 về một số thứ như toán học, logic, v.v. Bạn có thể đặt chúng để làm việc trực tiếp với Phục vụ mô hình Databricks hoặc tùy chỉnh chúng thêm cho các nhu cầu cụ thể vì chúng được cấp phép sử dụng với Giấy phép mô hình mở Databricks. 

Chúng có thể được triển khai trực tiếp vào Phục vụ mô hình Databricks hoặc được sử dụng cho mục đích tinh chỉnh và suy luận hàng loạt.

Bạn có thể dùng thử các mô hình nguồn mở DBRX của Databricks tại đây.