Nowe modele języków open source DBRX firmy Databricks, warte 10 milionów dolarów, wreszcie są dostępne

Firma Databricks niedawno ogłosiła, że ​​tak uruchomienie DBRX, zestaw generatywnych modeli sztucznej inteligencji, który jest teraz dostępny w GitHubie i Hugging Face. Jest wstępnie przeszkolony na tokenach 12T, korzysta z GLU i GQA i nie jest multimodalny (nie może uruchamiać obrazów).

Model ma dwie wersje: DBRX Base, zoptymalizowaną pod kątem zadań opartych na instrukcjach, oraz DBRX Instruct, wstępnie wytrenowany model, który można dalej dostosowywać. Model parametrów 132B jest modelem open source i jest dostępny w języku angielskim, chociaż twierdzi, że jest w stanie przetłumaczyć go również na język francuski, niemiecki i hiszpański.

Wiceprezes Databricks ds. generatywnej sztucznej inteligencji, Naveen Rao, ujawnił w: TechCrunch w wywiadzie, że firma zainwestowała 10 milionów dolarów i dwa miesiące w szkolenie modelek. Problem w tym, że do uruchomienia tych modeli potrzebny jest mocny sprzęt, na przykład co najmniej 4 procesory graficzne Nvidia H100 lub ich odpowiednik, łącznie 320 GB pamięci, lub chmura innej firmy o mniej więcej podobnych wymaganiach. 

Według jego komunikat prasowy, DBRX twierdzi, że może przewyższyć istniejące modele open source, takie jak LLaMA2-70B, GPT-3.5, Mixtral i Grok-1 na temat pewnych rzeczy, takich jak matematyka, logika i inne. Można je uruchomić bezpośrednio w usłudze Databricks Model Serving lub dostosować je do konkretnych potrzeb, ponieważ są licencjonowane do użytku w ramach licencji Databricks Open Model License. 

Można je wdrożyć bezpośrednio w usłudze Databricks Model Serving lub wykorzystać do dostrajania i wnioskowania wsadowego.

Możesz wypróbować modele open source DBRX firmy Databricks tutaj.