Microsoft développe son propre grand modèle de langage avec 500 milliards de paramètres

Grâce à son partenariat solide avec OpenAI, Microsoft exploite déjà l'un des meilleurs grands modèles de langage (LLM) du secteur. Au-delà des offres d'OpenAI, Microsoft Research publie régulièrement des modèles de langage (SLM) plus petits pour rester compétitif face aux startups d'IA et aux projets open source. Maintenant, les informations rapports que Microsoft crée son propre LLM interne, nommé MAI-1.

Tandis que le Famille de modèles Phi a été formé avec un maximum de 14 milliards de paramètres, MAI-1 utilisera environ 500 milliards de paramètres. Cela positionne MAI-1 pour rivaliser directement avec les LLM leaders du secteur comme Google Gemini et Amazon Titan.

Mustafa Suleyman, qui a récemment rejoint Microsoft dirige les efforts de développement de MAI-1. Outre l'embauche de Mustafa et des membres clés d'Inflection AI, Microsoft a également signé l'accès à la technologie d'Inflection. Ainsi, Microsoft utilise peut-être une partie de la technologie acquise auprès d’Inflection pour développer MAI-1.

Cette actualité de développement MAI-1 indique que Microsoft ne veut clairement pas dépendre entièrement d'OpenAI pour les modèles d'IA. Il souhaite avoir accès aux modèles d'IA de pointe d'OpenAI, au MAI-1 développé en interne qui aura des capacités équivalentes aux modèles de pointe d'OpenAI et à la famille Phi de petits modèles pour les scénarios sur l'appareil. .