Microsoft présente la famille de modèles Phi-3 qui surpassent les autres modèles de sa catégorie
2 minute. lis
Publié le
Partagez cet article
Améliorer ce guide
Lisez notre page de divulgation pour savoir comment vous pouvez aider MSPoweruser à soutenir l'équipe éditoriale En savoir plus
En décembre 2023, Microsoft a publié Phi-2 modèle avec 2.7 milliards de paramètres qui offre des performances de pointe parmi les modèles de langage de base avec moins de 13 milliards de paramètres. Au cours des quatre derniers mois, plusieurs autres modèles sortis ont surperformé le Phi-2. Récemment, Meta a publié la famille de modèles Llama-3 qui ont surpassé tous les modèles open source précédemment publiés.
Hier soir, Microsoft Research a annoncé la famille de modèles Phi-3 via un rapport technique. Il existe trois modèles dans la famille Phi-3 :
- phi-3-mini (3.8B)
- phi-3-petit (7B)
- phi-3-moyen (14B)
Le phi-3-mini avec un modèle de langage de 3.8 milliards de paramètres est formé sur 3.3 billions de jetons. Selon les benchmarks, phi-3-mini bat Mixtral 8x7B et GPT-3.5. Microsoft affirme que ce modèle est suffisamment petit pour être déployé sur un téléphone. Microsoft a utilisé une version à grande échelle de l'ensemble de données utilisé pour phi-2, composé de données Web fortement filtrées et de données synthétiques. Selon les résultats de référence de Microsoft sur le document technique, phi-3-small et phi-3-medium atteignent un score MMLU impressionnant de 75.3 et 78.2 respectivement.
En termes de capacités LLM, même si le modèle Phi-3-mini atteint un niveau similaire de compréhension du langage et de capacité de raisonnement à celui de modèles beaucoup plus grands, il reste fondamentalement limité par sa taille pour certaines tâches. Le modèle n’a tout simplement pas la capacité de stocker des connaissances factuelles étendues, ce qui se voit, par exemple, avec de faibles performances sur TriviaQA. Cependant, nous pensons que cette faiblesse peut être résolue par une augmentation avec un moteur de recherche.
