Databricksovi 10 milijonov dolarjev vredni novi odprtokodni jezikovni modeli DBRX so končno tu
Za odprtokodni model, ki je stal 10 milijonov $ in 2 meseca za usposabljanje, je to impresivno.
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Ključne opombe
- Databricks lansira DBRX, svoj niz generativnih modelov AI na GitHub in Hugging Face.
- DBRX vključuje DBRX Base za naloge, ki temeljijo na navodilih, in DBRX Instruct za prilagajanje.
- Za delovanje potrebuje zmogljivo strojno opremo in prekaša druge modele, kot je GPT-3.5.
Databricks je prav pred kratkim objavil, da je zagon DBRX, njegov nabor generativnih modelov AI, ki je zdaj na voljo na GitHub in Hugging Face. Vnaprej je usposobljen za žetone 12T, uporablja GLU in GQA in ni multimodalen (ne more izvajati slik).
Model ima dve različici, DBRX Base, optimizirano za naloge, ki temeljijo na navodilih, in DBRX Instruct, vnaprej pripravljen model, primeren za nadaljnje prilagajanje. Model parametrov 132B je odprtokoden in na voljo v angleščini, čeprav trdi, da ga je mogoče prevesti tudi v francoščino, nemščino in španščino.
Databricksov podpredsednik generativne umetne inteligence, Naveen Rao, je razkril v a TechCrunch intervjuju, da je podjetje vložilo 10 milijonov dolarjev in dva meseca v usposabljanje modelov. Toda ulov je v tem, da delovanje teh modelov zahteva zajetno strojno opremo, kot so najmanj 4 grafični procesorji Nvidia H100 ali enakovredni, skupaj 320 GB pomnilnika, ali oblak tretje osebe z bolj ali manj podobnimi zahtevami.
Glede na njegovo sporočilo za javnost, DBRX trdi, da lahko prekaša obstoječe odprtokodne modele, kot so LLaMA2-70B, GPT-3.5, Mixtral in Grok-1 o določenih stvareh, kot so matematika, logika in drugo. Lahko jih nastavite za neposredno delo z Databricks Model Serving ali pa jih dodatno prilagodite posebnim potrebam, saj imajo licenco za uporabo z licenco Databricks Open Model.
Razmestiti jih je mogoče neposredno v Databricks Model Serving ali uporabiti za fino nastavitev in namene paketnega sklepanja.
Preizkusite lahko Databricksove odprtokodne modele DBRX tukaj.
