מיקרוסופט מציגה את משפחת Phi-3 של דגמים שעולים על דגמים אחרים מהמעמד שלה

עוד בדצמבר 2023, מיקרוסופט פרסמה פי-2 מודל עם 2.7 מיליארד פרמטרים שסיפק ביצועים מתקדמים בין מודלים של שפות בסיס עם פחות מ-13 מיליארד פרמטרים. בארבעת החודשים האחרונים, כמה דגמים אחרים שיצאו הוציאו ביצועים טובים יותר מ-Phi-2. לאחרונה, Meta הוציאה את משפחת דגמי Llama-3 שהעלו על כל דגמי הקוד הפתוח שפורסמו בעבר.

אמש, Microsoft Research הכריזה על משפחת הדגמים Phi-3 באמצעות דוח טכני. ישנם שלושה דגמים במשפחת ה-Phi-3:

• phi-3-mini (3.8B)
• phi-3-small (7B)
• phi-3-medium (14B)

ה-phi-3-mini עם מודל שפה של 3.8 מיליארד פרמטרים מאומן על 3.3 טריליון אסימונים. לפי מדדים, phi-3-mini מנצח את Mixtral 8x7B ו-GPT-3.5. מיקרוסופט טוענת שהדגם הזה קטן מספיק כדי להיפרס בטלפון. מיקרוסופט השתמשה בגרסה מוגדלת של מערך הנתונים ששימשה עבור phi-2, המורכבת מנתוני אינטרנט עם סינון כבד ונתונים סינתטיים. לפי תוצאות הבנצ'מרק של מיקרוסופט במסמך הטכני, phi-3-small ו-phi-3-medium משיגים ציון MMLU מרשים של 75.3 ו-78.2 בהתאמה.

מבחינת יכולות LLM, בעוד שדגם ה-Phi-3-mini משיג רמה דומה של הבנת שפה ויכולת חשיבה לאלו של דגמים גדולים בהרבה, הוא עדיין מוגבל ביסודו על ידי גודלו עבור משימות מסוימות. למודל פשוט אין את היכולת לאחסן ידע עובדתי נרחב, שניתן לראות, למשל, עם ביצועים נמוכים ב- TriviaQA. עם זאת, אנו מאמינים שניתן לפתור חולשה זו על ידי הגדלה עם מנוע חיפוש.