Gemini Ultra vs GPT 4 : comment Google Gemini bat OpenAI GPT-4 dans la plupart des benchmarks

Le nouveau modèle linguistique de Google, GeminiLe modèle haut de gamme de, Gemini Ultra, a surpassé le GPT-4 d'OpenAI lors de tests de référence complets. Des tâches textuelles à la compréhension multimédia complexe, Gemini a constamment démontré des performances supérieures.

Performances basées sur le texte :

• Raisonnement en plusieurs étapes (Big-Bench Hard) : Gemini Ultra a surpassé GPT-4, démontrant sa capacité à suivre des instructions complexes et à résoudre des problèmes en plusieurs étapes.
• Compréhension écrite (DROP) : Gemini excellait dans la compréhension des nuances du texte, dépassant GPT-4 pour extraire avec précision des informations et répondre aux questions basées sur la lecture de passages.
• Raisonnement de bon sens pour les tâches quotidiennes (HellaSwag) : Bien que GPT-4 ait devancé Gemini dans cette catégorie, les deux modèles ont démontré des capacités remarquables à appliquer les connaissances du bon sens aux situations quotidiennes.

Traitement multimédia :

• Tâches liées à l'image : Gemini a réussi tous les tests impliquant le traitement d'images, démontrant des capacités supérieures en raisonnement de niveau universitaire, en compréhension naturelle d'images, en OCR, en compréhension de documents, en analyse infographique et en raisonnement mathématique dans des contextes visuels.
• Traitement vidéo : Gemini a triomphé dans deux tests liés à la vidéo, excellant dans la capture de sous-titres en anglais et la réponse aux questions vidéo.
• Traitement audio : Gemini a balayé les tests audio, démontrant des performances supérieures de traduction et de reconnaissance automatique de la parole.

Dans l’ensemble, Gemini a surpassé GPT4, sauf dans le raisonnement de bon sens pour les tâches quotidiennes (HellaSwag).

Le tableau est clair : Gemini Ultra de Google s'est imposé comme le principal modèle de langage à grande échelle, surpassant son concurrent, GPT-4, dans diverses tâches. 

Plus d'info ici.