Нові мовні моделі DBRX з відкритим вихідним кодом Databricks вартістю 10 мільйонів доларів нарешті тут
Для моделі з відкритим кодом, яка коштувала 10 мільйонів доларів і 2 місяці на навчання, це вражає.
2 хв. читати
Опубліковано
Поділитися цією статтею
Удосконалити цей посібник
Прочитайте нашу сторінку розкриття інформації, щоб дізнатися, як ви можете допомогти MSPoweruser підтримувати редакційну команду Читати далі
Основні нотатки
- Databricks запускає DBRX, свій набір генеративних моделей ШІ на GitHub і Hugging Face.
- DBRX містить DBRX Base для завдань на основі інструкцій і DBRX Instruct для налаштування.
- Для роботи потрібне потужне апаратне забезпечення, яке перевершує інші моделі, такі як GPT-3.5.
Компанія Databricks нещодавно оголосила про це запуск DBRX, його набір генеративних моделей AI, який тепер доступний на GitHub і Hugging Face. Він попередньо навчений на токенах 12T, використовує GLU та GQA і не є мультимодальним (не може запускати зображення).
Модель має дві версії: DBRX Base, оптимізовану для завдань на основі інструкцій, і DBRX Instruct, попередньо навчену модель, придатну для подальшого налаштування. Модель параметрів 132B є відкритим вихідним кодом і доступна англійською мовою, хоча стверджується, що вона здатна перекладати також французькою, німецькою та іспанською мовами.
Віце-президент Databricks з генеративного штучного інтелекту, Навін Рао, розкрито в a TechCrunch Інтерв'ю, що компанія інвестувала 10 мільйонів доларів і два місяці в навчання моделей. Але заковика в тому, що для роботи цих моделей потрібне потужне апаратне забезпечення, як мінімум 4 графічні процесори Nvidia H100 або еквівалент із загальною пам’яттю 320 ГБ, або стороння хмара з більш-менш подібними вимогами.
Згідно з його прес-реліз, DBRX стверджує, що може перевершити існуючі моделі з відкритим кодом, такі як LLaMA2-70B, GPT-3.5, Mixtral і Грок-1 на певні речі, як-от математику, логіку тощо. Ви можете налаштувати їх для роботи безпосередньо з Databricks Model Serving або налаштувати їх для конкретних потреб, оскільки вони ліцензовані для використання з Databricks Open Model License.
Вони можуть бути розгорнуті безпосередньо в Databricks Model Serving або використані для тонкого налаштування та пакетного висновку.
Ви можете спробувати моделі DBRX з відкритим кодом Databricks тут.
