Microsoft разрабатывает собственную большую языковую модель с 500 миллиардами параметров

Благодаря тесному партнерству с OpenAI Microsoft уже использует одну из лучших в отрасли моделей больших языков (LLM). Помимо предложений OpenAI, Microsoft Research постоянно выпускает меньшие языковые модели (SLM), чтобы оставаться конкурентоспособными со стартапами в области искусственного интеллекта и проектами с открытым исходным кодом. Теперь информация ALD-XNUMX что Microsoft создает собственную LLM под кодовым названием MAI-1.

Если Модельное семейство Фи был обучен с использованием максимум 14 миллиардов параметров, MAI-1 будет использовать около 500 миллиардов параметров. Это позволяет MAI-1 напрямую конкурировать с ведущими в отрасли LLM, такими как Google Gemini и Amazon Titan.

Мустафа Сулейман, который недавно присоединился Microsoft возглавляет усилия по разработке MAI-1. Помимо найма Мустафы и ключевых членов Inflection AI, Microsoft также подписала соглашение о доступе к технологии Inflection. Таким образом, Microsoft может использовать некоторые технологии, приобретенные у Inflection, для разработки MAI-1.

Эти новости о разработке MAI-1 указывают на то, что Microsoft явно не хочет полностью зависеть от OpenAI для моделей искусственного интеллекта. Он хочет иметь доступ к новейшим моделям искусственного интеллекта OpenAI, собственной разработке MAI-1, которая будет иметь возможности, эквивалентные новейшим моделям OpenAI, и семейству небольших моделей Phi для сценариев на устройстве. .