Gemini Ultra vs GPT 4: איך Google Gemini מנצחת את OpenAI GPT-4 ברוב המדדים

מודל השפה החדש של גוגל, Geminiהדגם העליון של Gemini Ultra, עלה על ה-GPT-4 של OpenAI במבחני ביצועים מקיפים. ממשימות מבוססות טקסט ועד להבנת מולטימדיה מורכבת, Gemini הפגינה באופן עקבי ביצועים מעולים.

ביצועים מבוססי טקסט:

• הגיון רב-שלבי (Big-Bench Hard): Gemini Ultra עלתה על GPT-4, ומציגה את יכולתו לעקוב אחר הוראות מורכבות ולפתור בעיות מרובות שלבים.
• הבנת הנקרא (DROP): מזל תאומים הצטיין בהבנת הניואנסים של טקסט, עלה על GPT-4 בחילוץ מדויק של מידע ותשובות לשאלות המבוססות על קטעי קריאה.
• הגיון בריא למשימות יומיומיות (HellaSwag): בעוד ש-GPT-4 הוביל את ג'מיני בקטגוריה זו, שני הדגמים הפגינו יכולות יוצאות דופן ביישום ידע השכל הישר על מצבים יומיומיים.

עיבוד מולטימדיה:

• משימות הקשורות לתמונה: ג'מיני עמד בכל המבחנים הקשורים לעיבוד תמונה, הדגמה יכולות מעולות בהיגיון ברמת המכללה, הבנת תמונה טבעית, OCR, הבנת מסמכים, ניתוח אינפוגרפי והנמקה מתמטית בהקשרים חזותיים.
• עיבוד וידאו: מזל תאומים ניצח בשני מבחנים הקשורים לווידאו, והצטיין בלכידת כיתוב באנגלית ובתשובה לשאלות וידאו.
• עיבוד אודיו: תאומים סחפו את מבחני האודיו, והדגימו ביצועי תרגום אוטומטי וזיהוי דיבור מעולים.

בסך הכל, תאומים עשו ביצועים טובים יותר מ-GPT4 למעט הגיון בהיגיון בריא למשימות יומיומיות (HellaSwag).

התמונה ברורה: ה-Gemini Ultra של גוגל ביסס את עצמו כמודל השפה הגדול המוביל, תוך ביצועים טובים יותר מהמתחרה שלו, GPT-4, במשימות שונות. 

עוד מידע כאן.