Model bahasa sumber terbuka DBRX baru senilai $10 juta dari Databricks akhirnya hadir

Databricks baru-baru ini mengumumkan hal itu meluncurkan DBRX, kumpulan model AI generatif yang kini tersedia di GitHub dan Hugging Face. Ini telah dilatih sebelumnya pada token 12T, menggunakan GLU dan GQA, dan bukan multimodal (tidak dapat menjalankan gambar).

Model ini memiliki dua versi, DBRX Base, yang dioptimalkan untuk tugas berbasis instruksi, dan DBRX Instruct, model terlatih yang cocok untuk penyesuaian lebih lanjut. Model parameter 132B bersifat open source dan tersedia dalam bahasa Inggris, meskipun diklaim mampu diterjemahkan ke dalam bahasa Prancis, Jerman, dan Spanyol juga.

VP AI generatif Databricks, Naveen Rao, mengungkapkan dalam a TechCrunch wawancara bahwa perusahaan menginvestasikan $10 juta dan dua bulan untuk melatih para model. Namun masalahnya, menjalankan model ini memerlukan perangkat keras yang besar dan kuat, seperti minimal 4 GPU Nvidia H100 atau setara, dengan total memori 320 GB, atau cloud pihak ketiga dengan persyaratan yang kurang lebih serupa. 

Menurut nya tekan rilis, DBRX mengklaim bahwa ia dapat mengungguli model sumber terbuka yang ada seperti LLaMA2-70B, GPT-3.5, Mixtral, dan Grok-1 pada hal-hal tertentu seperti matematika, logika, dan banyak lagi. Anda dapat menggunakannya secara langsung dengan Databricks Model Serving atau menyesuaikannya lebih lanjut untuk kebutuhan spesifik karena mereka dilisensikan untuk digunakan dengan Lisensi Model Terbuka Databricks. 

Mereka dapat diterapkan langsung ke Databricks Model Serving atau digunakan untuk tujuan penyesuaian dan inferensi batch.

Anda dapat mencoba model sumber terbuka DBRX Databricks di sini.