Le modèle Phi-2 2.7B de Microsoft surpasse le modèle Google Gemini Nano-2 3.2B récemment annoncé

Au cours des derniers mois, Microsoft Research a publié une suite de petits modèles de langage (SLM) appelée « Phi ». Le Phi-1 a été lancé pour la première fois avec 1.3 milliard de paramètres et était spécialisé pour le codage Python de base. En septembre, Microsoft Research libéré Modèle Phi-1.5 avec 1.3 milliard de paramètres, mais il a été formé avec une nouvelle source de données comprenant divers textes synthétiques PNL. Malgré sa petite taille, le phi-1.5 offrait des performances presque à la pointe de la technologie, comparables à d'autres modèles de taille similaire.

Aujourd'hui, Microsoft a annoncé la sortie du modèle Phi-2 avec 2.7 milliards de paramètres. Microsoft Research affirme que ce nouveau SLM offre des performances de pointe parmi les modèles de langage de base comportant moins de 13 milliards de paramètres. Sur certains benchmarks complexes, le Phi-2 correspond ou surpasse des modèles jusqu'à 25 fois plus grands.

La semaine dernière, Google annoncé Suite Gemini de modèles de langage. Le Gemini Nano est le modèle le plus efficace de Google conçu pour les tâches sur appareil et il peut fonctionner directement sur le silicium mobile. Le petit modèle de langage de type Gemini Nano permet des fonctionnalités telles que le résumé de texte, les réponses intelligentes contextuelles et la relecture avancée et la correction grammaticale.

Selon Microsoft, le nouveau modèle Phi-2 correspond ou surpasse le nouveau Google Gemini Nano-2, bien qu'il soit de plus petite taille. Vous pouvez trouver ci-dessous la comparaison des benchmarks entre les modèles Google Gemini Nano-2 et Phi-2.

En plus de surpasser Gemini Nano-2, Phi-2 surpasse également les performances des modèles Mistral et Llama-2 aux paramètres 7B et 13B sur divers benchmarks. Retrouvez les détails ci-dessous.

Alors que les deux modèles phi précédents étaient disponibles sur Hugging Face, Phi-2 a été mis à disposition sur le catalogue de modèles Azure. Vous pouvez en savoir plus sur Phi-2 ici.