Databricksovi novi DBRX jezični modeli otvorenog koda, vrijedni 10 milijuna dolara, konačno su ovdje
Za model otvorenog koda koji je koštao 10 milijuna dolara i 2 mjeseca za obuku, to je impresivno.
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Ključne napomene
- Databricks lansira DBRX, svoj skup generativnih AI modela na GitHubu i Hugging Faceu.
- DBRX uključuje DBRX Base za zadatke temeljene na uputama i DBRX Instruct za prilagodbu.
- Zahtijeva snažan hardver za rad i nadmašuje druge modele poput GPT-3.5.
Databricks je nedavno objavio da je pokretanje DBRX-a, njegov skup generativnih AI modela koji je sada dostupan na GitHubu i Hugging Face. Unaprijed je obučen na 12T tokenima, koristi GLU i GQA i nije multimodalan (ne može pokretati slike).
Model ima dvije verzije, DBRX Base, optimiziran za zadatke temeljene na uputama, i DBRX Instruct, prethodno obučeni model prikladan za daljnju prilagodbu. Model parametara 132B otvorenog je koda i dostupan je na engleskom, iako tvrdi da se može prevesti i na francuski, njemački i španjolski.
Databricksov potpredsjednik generativne umjetne inteligencije, Naveen Rao, otkriveno je u a TechCrunch intervjuu da je tvrtka uložila 10 milijuna dolara i dva mjeseca u obuku modela. Ali kvaka je u tome što pokretanje ovih modela zahtijeva pozamašan hardver, poput najmanje 4 Nvidia H100 GPU-a ili ekvivalenta, ukupno 320 GB memorije, ili oblak treće strane s više ili manje sličnim zahtjevima.
Prema njezinim riječima priopćenje za tisak, DBRX tvrdi da može nadmašiti postojeće modele otvorenog koda kao što su LLaMA2-70B, GPT-3.5, Mixtral i Grok-1 na određene stvari kao što su matematika, logika i drugo. Možete ih postaviti da rade izravno s Databricks Model Servingom ili ih dodatno prilagoditi specifičnim potrebama budući da su licencirani za korištenje s licencom Databricks Open Model.
Mogu se implementirati izravno u Databricks Model Serving ili koristiti za fino podešavanje i skupne zaključke.
Možete isprobati Databricksove DBRX modele otvorenog koda ovdje.
