Noile modele de limbaj DBRX open-source ale Databricks, în valoare de 10 milioane de dolari, sunt în sfârșit aici
Pentru un model open-source care a costat 10 milioane de dolari și 2 luni de antrenament, este impresionant.
2 min. citit
Publicat în data de
Distribuiți acest articol
Îmbunătățiți acest ghid
Citiți pagina noastră de dezvăluire pentru a afla cum puteți ajuta MSPoweruser să susțină echipa editorială Află mai multe
Note cheie
- Databricks lansează DBRX, setul său de modele AI generative pe GitHub și Hugging Face.
- DBRX include DBRX Base pentru sarcini bazate pe instrucțiuni și DBRX Instruct pentru personalizare.
- Este nevoie de hardware puternic pentru a rula și depășește alte modele precum GPT-3.5.
Databricks tocmai a anunțat recent că este lansarea DBRX, setul său de modele AI generative care este acum disponibil pe GitHub și Hugging Face. Este pre-antrenat pe jetoane 12T, folosește GLU și GQA și nu este multimodal (nu poate rula imagini).
Modelul are două versiuni, DBRX Base, optimizată pentru sarcini bazate pe instrucțiuni, și DBRX Instruct, un model pre-antrenat potrivit pentru personalizare ulterioară. Modelul parametrilor 132B este open source și disponibil în engleză, deși pretinde că poate fi tradus și în franceză, germană și spaniolă.
Vicepreședintele AI generativ al Databricks, Naveen Rao, a dezvăluit într-un TechCrunch interviu că compania a investit 10 milioane de dolari și două luni în formarea modelelor. Dar problema este că, rularea acestor modele necesită un hardware puternic, cum ar fi un minim de 4 GPU-uri Nvidia H100 sau echivalent, cu un total de 320 GB de memorie, sau un cloud terță parte cu cerințe mai mult sau mai puțin similare.
Potrivit lui comunicatul de presă, DBRX susține că poate depăși modelele open-source existente precum LLaMA2-70B, GPT-3.5, Mixtral și Grok-1 pe anumite lucruri precum matematica, logica și multe altele. Le puteți pune să funcționeze direct cu Databricks Model Serving sau le puteți personaliza în continuare pentru nevoi specifice, deoarece sunt licențiate pentru utilizare cu Databricks Open Model License.
Acestea pot fi implementate direct în Databricks Model Serving sau utilizate în scopuri de reglare fină și de inferență pe lot.
Puteți încerca modelele open-source DBRX de la Databricks aici.
