Qu’est-ce qu’Orca 2 ? La dernière version de Microsoft pourrait surpasser les modèles plus petits et rivaliser avec les modèles plus grands

La course à l’IA ne fait que s’échauffer. Outre le bouleversement de la direction d'OpenAI impliquant le (maintenant ancien) PDG Sam Altman, le conseil d'administration de l'entreprise, et Microsoft, le géant technologique basé à Redmond, ont lancé « discrètement » ses derniers petits modèles de langage. Il s'appelle Orca 2 et, à première vue, cela pourrait être la réponse de Microsoft au défi croissant de l'IA. 

Orca 2 ne se contente pas de parler, il marche. Surpassant des modèles de taille similaire et affrontant des modèles presque dix fois plus grands, notamment dans les tâches délicates qui testent un raisonnement avancé, Orca 2 fait ses preuves. 

Disponible en deux tailles, 7 milliards et 13 milliards de paramètres, tous deux affinés sur des données synthétiques spéciales, Microsoft affirme qu'il crée des pondérations pour le public afin « d'encourager la recherche » de modèles de langage plus petits. 

Consultez les tableaux ci-dessous pour voir les performances d'Orca 2 sur une variété de critères par rapport à d'autres modèles de taille similaire et même à des modèles 5 à 10 fois plus grands.

« Les données d'entraînement ont été générées de telle sorte qu'elles enseignent à Orca 2 diverses techniques de raisonnement, telles que le traitement étape par étape, le rappel puis la génération, le rappel-raison-générer, l'extraction-génération et les méthodes de réponse directe, tout en lui apprenant à choisir. différentes stratégies de solution pour différentes tâches », déclare Microsoft dans l'annonce officielle. 

Il y a quelques mois, les chercheurs de Redmond ont lancé leur prédécesseur, Orca 1, avec 13 milliards de paramètres. Vous pouvez lire celui de Microsoft Papier Orca 2 ici.