Nové open source jazykové modely DBRX společnosti Databricks v hodnotě 10 milionů dolarů jsou konečně tady
U modelu s otevřeným zdrojovým kódem, který stojí 10 milionů dolarů a 2 měsíce na zaškolení, je to působivé.
2 min. číst
Publikované dne
Sdílejte tento článek
Vylepšete tuto příručku
Přečtěte si naši informační stránku a zjistěte, jak můžete pomoci MSPoweruser udržet redakční tým Dozvědět se více
Klíčové poznámky
- Databricks spouští DBRX, svou sadu generativních modelů umělé inteligence na GitHubu a Hugging Face.
- DBRX obsahuje DBRX Base pro úkoly založené na instrukcích a DBRX Instruct pro přizpůsobení.
- Ke svému běhu vyžaduje výkonný hardware a překonává jiné modely, jako je GPT-3.5.
Databricks nedávno oznámil, že ano spuštění DBRX, jeho sadu generativních modelů umělé inteligence, která je nyní dostupná na GitHubu a Hugging Face. Je předtrénovaný na 12T tokenech, používá GLU a GQA a není multimodální (nemůže spouštět obrázky).
Model má dvě verze, DBRX Base, optimalizovanou pro úkoly založené na výuce, a DBRX Instruct, předtrénovaný model vhodný pro další přizpůsobení. Model 132B parametrů je open source a je dostupný v angličtině, i když tvrdí, že je schopen překládat i do francouzštiny, němčiny a španělštiny.
Viceprezident Databricks pro generativní AI, Naveen Rao, zveřejněný v a TechCrunch rozhovoru, že společnost investovala 10 milionů dolarů a dva měsíce do školení modelů. Ale háček je v tom, že provoz těchto modelů vyžaduje statný hardware, jako jsou minimálně 4 GPU Nvidia H100 nebo ekvivalent, celkem 320 GB paměti, nebo cloud třetí strany s víceméně podobnými požadavky.
Podle jeho tisková zpráva, DBRX tvrdí, že může překonat stávající open-source modely jako LLaMA2-70B, GPT-3.5, Mixtral a Grok-1 na určité věci, jako je matematika, logika a další. Můžete je zprovoznit přímo se službou Databricks Model Serving nebo je dále upravit pro konkrétní potřeby, protože jsou licencovány pro použití s licencí Databricks Open Model License.
Mohou být nasazeny přímo do Databricks Model Serving nebo použity pro účely jemného ladění a dávkového odvození.
Můžete vyzkoušet open-source modely DBRX společnosti Databricks zde.
