Databricks'in 10 milyon dolar değerindeki yeni DBRX açık kaynak dil modelleri nihayet burada

Databricks yakın zamanda şunu duyurdu: DBRX'i başlatma, artık GitHub ve Hugging Face'te mevcut olan üretken yapay zeka modelleri seti. 12T jetonlarla önceden eğitilmiştir, GLU ve GQA kullanır ve multimodal değildir (görüntüleri çalıştıramaz).

Modelin iki versiyonu vardır: talimat tabanlı görevler için optimize edilmiş DBRX Base ve daha fazla özelleştirmeye uygun, önceden eğitilmiş bir model olan DBRX Instruct. 132B parametre modeli açık kaynaktır ve İngilizce olarak mevcuttur, ancak Fransızca, Almanca ve İspanyolca'ya da tercüme edilebildiği iddia edilmektedir.

Databricks'in üretken yapay zekadan sorumlu başkan yardımcısı Naveen Rao, bir açıklamada şöyle açıkladı: TechCrunch Röportajda şirketin modellerin eğitimi için 10 milyon dolar ve iki ay yatırım yaptığı belirtildi. Ancak sorun şu ki, bu modelleri çalıştırmak, en az 4 Nvidia H100 GPU veya eşdeğeri, toplam 320 GB bellek veya az çok benzer gereksinimlere sahip bir üçüncü taraf bulut gibi ağır bir donanım gerektiriyor. 

Onun göre basın bülteniDBRX, LLaMA2-70B, GPT-3.5, Mixtral ve gibi mevcut açık kaynaklı modellerden daha iyi performans gösterebileceğini iddia ediyor Grok-1 matematik, mantık ve daha fazlası gibi belirli konularda. Bunları doğrudan Databricks Model Serving ile çalıştırabilir veya Databricks Açık Model Lisansı ile kullanım için lisanslandıkları için belirli ihtiyaçlara göre daha da özelleştirebilirsiniz. 

Doğrudan Databricks Model Hizmetine dağıtılabilir veya ince ayar ve toplu çıkarım amacıyla kullanılabilirler.

Databricks'in DBRX açık kaynak modellerini deneyebilirsiniz okuyun.