A Databricks 10 millió dollár értékű új DBRX nyílt forráskódú nyelvi modelljei végre itt vannak
Egy nyílt forráskódú modell esetében, amelynek betanítása 10 millió dollárba és 2 hónapba került, ez lenyűgöző.
2 perc olvas
Publikálva
Ossza meg ezt a cikket
Javítsa ezt az útmutatót
Olvassa el közzétételi oldalunkat, hogy megtudja, hogyan segítheti az MSPowerusert a szerkesztői csapat fenntartásában Tovább
Főbb megjegyzések
- A Databricks elindítja a DBRX-et, a generatív mesterséges intelligencia modellek készletét a GitHubon és a Hugging Face-en.
- A DBRX tartalmazza a DBRX Base-t az utasításalapú feladatokhoz és a DBRX Instruct-ot a testreszabáshoz.
- Erőteljes hardver szükséges a futtatáshoz, és felülmúlja a többi modellt, például a GPT-3.5-öt.
A Databricks nemrég jelentette be, hogy igen a DBRX elindítása, a generatív AI modellek készlete, amely már elérhető a GitHubon és a Hugging Face-en. 12T tokenre van előképzett, GLU-t és GQA-t használ, és nem multimodális (nem futtatható képek).
A modellnek két változata van, az utasítás alapú feladatokra optimalizált DBRX Base és a további testreszabásra alkalmas, előre betanított DBRX Instruct modell. A 132B paraméteres modell nyílt forráskódú és angol nyelven is elérhető, bár állítólag képes lefordítani franciára, németre és spanyolra is.
A Databricks generatív mesterséges intelligenciáért felelős alelnöke, Naveen Rao a TechCrunch interjú arról, hogy a cég 10 millió dollárt és két hónapot fektetett be a modellek képzésébe. De a bökkenő az, hogy ezeknek a modelleknek a futtatásához komoly hardverre van szükség, például legalább 4 Nvidia H100 GPU-ra vagy azzal egyenértékűre, összesen 320 GB memóriára, vagy egy harmadik féltől származó felhőre, többé-kevésbé hasonló követelményekkel.
Szerint a sajtóközlemény, a DBRX azt állítja, hogy képes felülmúlni a meglévő nyílt forráskódú modelleket, mint például a LLaMA2-70B, GPT-3.5, Mixtral és Grok-1 bizonyos dolgokban, például matematikában, logikában és egyebekben. Közvetlenül a Databricks Model Serving szolgáltatással működhet, vagy tovább szabhatja őket speciális igényekhez, mivel a Databricks Open Model License licenccel rendelkeznek.
Közvetlenül üzembe helyezhetők a Databricks Model Servingben, vagy felhasználhatók finomhangolási és kötegelt következtetési célokra.
Kipróbálhatja a Databricks DBRX nyílt forráskódú modelljeit itt.
