דגם ה-Phi-2 2.7B של מיקרוסופט עולה על דגם ה-Google Gemini Nano-2 3.2B שהוכרז לאחרונה
2 דקות לקרוא
פורסם ב
שתף את המאמר הזה
שפר את המדריך הזה
קרא את דף הגילויים שלנו כדי לגלות כיצד תוכל לעזור ל-MSPoweruser לקיים את צוות העריכה קראו עוד
במהלך החודשים האחרונים, Microsoft Research הוציאה חבילה של מודלים קטנים של שפה (SLMs) בשם "Phi". ה-Phi-1 שוחרר ראשון עם 1.3 מיליארד פרמטרים והוא התמחה עבור קידוד Python בסיסי. בספטמבר, Microsoft Research שוחרר דגם Phi-1.5 עם 1.3 מיליארד פרמטרים, אך הוא הוכשר עם מקור נתונים חדש שכלל טקסטים סינתטיים מסוג NLP שונים. למרות גודלו הקטן, phi-1.5 סיפק ביצועים כמעט מתקדמים בהשוואה לדגמים אחרים בגדלים דומים.
היום הודיעה מיקרוסופט על שחרורו של דגם Phi-2 עם 2.7 מיליארד פרמטרים. מחקר של מיקרוסופט טוען שה-SLM החדש הזה מספק ביצועים מתקדמים בין מודלים של שפות בסיס עם פחות מ-13 מיליארד פרמטרים. בכמה אמות מידה מורכבות, Phi-2 תואם או מתעלה על דגמים גדולים עד פי 25.
בשבוע שעבר, גוגל הודיע חבילת תאומים של דגמי שפה. ה-Gemini Nano הוא הדגם היעיל ביותר של גוגל שנבנה למשימות במכשיר והוא יכול לפעול ישירות על סיליקון נייד. מודל שפה קטן דמוי Gemini Nano מאפשר תכונות כגון סיכום טקסט, תשובות חכמות הקשריות והגהה מתקדמת ותיקון דקדוק.
לדברי מיקרוסופט, דגם ה-Phi-2 החדש תואם או מתעלה על ה-Google Gemini Nano-2 החדש, למרות היותו קטן יותר בגודלו. תוכל למצוא את השוואת המדדים בין דגמי Google Gemini Nano-2 ו-Phi-2 למטה.
| מספר סימוכין | מידה | bbh | BoolQ | MBPP | MMLU |
|---|---|---|---|---|---|
| Gemini Nano 2 | 3.2B | 42.4 | 79.3 | 27.2 | 55.8 |
| פי-2 | 2.7B | 59.3 | 83.3 | 59.1 | 56.7 |
בנוסף לביצועים טובים יותר מ-Gemini Nano-2, Phi-2 עולה גם על הביצועים של דגמי Mistral ו-Llama-2 בפרמטרים של 7B ו-13B במדדים שונים. מצא את הפרטים למטה.
| מספר סימוכין | מידה | bbh | שכל ישר הַנמָקָה | שפה הבנה | מתמטיקה | סִמוּל |
|---|---|---|---|---|---|---|
| לאמה-2 | 7B | 40.0 | 62.2 | 56.7 | 16.5 | 21.0 |
| 13B | 47.8 | 65.0 | 61.9 | 34.2 | 25.4 | |
| 70B | 66.5 | 69.2 | 67.6 | 64.1 | 38.3 | |
| Mistral | 7B | 57.2 | 66.4 | 63.7 | 46.4 | 39.4 |
| פי-2 | 2.7B | 59.2 | 68.8 | 62.0 | 61.1 | 53.7 |
בעוד ששני דגמי ה-phi הקודמים הפכו לזמינים ב-Huging Face, Phi-2 הפך זמין בקטלוג הדגמים של Azure. אתה יכול ללמוד עוד על Phi-2 כאן.
