I nuovi modelli linguistici open source DBRX del valore di 10 milioni di dollari di Databricks sono finalmente arrivati
Per un modello open source che è costato 10 milioni di dollari e 2 mesi per la formazione, è impressionante.
2 minuto. leggere
Edizione del
Condividi questo articolo
Migliora questa guida
Leggi la nostra pagina informativa per scoprire come puoi aiutare MSPoweruser a sostenere il team editoriale Per saperne di più
Note chiave
- Databricks lancia DBRX, il suo set di modelli di intelligenza artificiale generativa su GitHub e Hugging Face.
- DBRX include DBRX Base per attività basate su istruzioni e DBRX Instruct per la personalizzazione.
- Richiede un hardware potente per funzionare e surclassa altri modelli come GPT-3.5.
Databricks lo ha appena annunciato di recente lancio di DBRX, il suo set di modelli di intelligenza artificiale generativa ora disponibile su GitHub e Hugging Face. È pre-addestrato su token 12T, utilizza GLU e GQA e non è multimodale (non può eseguire immagini).
Il modello ha due versioni, DBRX Base, ottimizzata per attività basate su istruzioni, e DBRX Instruct, un modello pre-addestrato adatto per ulteriore personalizzazione. Il modello dei parametri 132B è open source e disponibile in inglese, sebbene affermi di essere in grado di essere tradotto anche in francese, tedesco e spagnolo.
Il vicepresidente dell'intelligenza artificiale generativa di Databricks, Naveen Rao, ha rivelato in a TechCrunch intervista che l'azienda ha investito 10 milioni di dollari e due mesi nella formazione dei modelli. Ma il problema è che l'esecuzione di questi modelli richiede hardware pesante, come un minimo di 4 GPU Nvidia H100 o equivalenti, per un totale di 320 GB di memoria, o un cloud di terze parti con requisiti più o meno simili.
Secondo il suo comunicato stampa, DBRX afferma di poter sovraperformare i modelli open source esistenti come LLaMA2-70B, GPT-3.5, Mixtral e Grok-1 su certe cose come la matematica, la logica e altro ancora. Puoi metterli in funzione direttamente con Databricks Model Serving o personalizzarli ulteriormente per esigenze specifiche poiché sono concessi in licenza per l'uso con Databricks Open Model License.
Possono essere distribuiti direttamente in Databricks Model Serving o utilizzati per scopi di perfezionamento e inferenza batch.
Puoi provare i modelli open source DBRX di Databricks qui.
