Microsoft DeBERTa עולה על בני אדם עלובים במבחן הבנת הנקרא SuperGlue

לאחרונה חלה התקדמות מסיבית ברשתות הדרכה עם מיליוני פרמטרים. מיקרוסופט עדכנה לאחרונה את מודל DeBERTa (BERT משופר בפענוח עם תשומת לב מפורקת) על ידי הכשרת גרסה גדולה יותר המורכבת מ-48 שכבות של Transformer עם 1.5 מיליארד פרמטרים. תוספת הביצועים המשמעותית גורמת למודל DeBERTa היחיד לעלות על הביצועים האנושיים בעיבוד והבנת השפה SuperGLUE בפעם הראשונה במונחים של ציון מאקרו ממוצע (89.9 לעומת 89.8), ועולה על קו הבסיס האנושי בהפרש הגון (90.3 לעומת 89.8) . רף SuperGLUE מורכב ממגוון רחב של משימות הבנת שפה טבעית, כולל מענה לשאלות, הסקת שפה טבעית. הדגם גם יושב בראש דירוג המדדים של GLUE עם ציון מאקרו ממוצע של 90.8.

DeBERTa משפר PLMs חדישים קודמים (לדוגמה, BERT, RoBERTa, UniLM) תוך שימוש בשלוש טכניקות חדשות: מנגנון קשב מנותק, מפענח מסכות משופר ושיטת אימון יריבות וירטואלית לכוונון עדין.

בהשוואה לדגם ה-T5 של גוגל, המורכב מ-11 מיליארד פרמטרים, ה-DeBERTa של 1.5 מיליארד פרמטרים הוא הרבה יותר יעיל באנרגיה לאימון ולתחזוקה, וקל יותר לדחוס ולפרוס אותו לאפליקציות בהגדרות שונות.

DeBERTa העולה על הביצועים האנושיים ב-SuperGLUE מסמן אבן דרך חשובה לקראת בינה מלאכותית כללית. למרות התוצאות המבטיחות שלו ב-SuperGLUE, המודל בשום אופן לא מגיע לאינטליגנציה ברמת האדם של NLU. בני אדם טובים מאוד במנף את הידע הנלמד ממשימות שונות כדי לפתור משימה חדשה ללא או מעט הדגמה ספציפית למשימה.

מיקרוסופט תשלב את הטכנולוגיה בגרסה הבאה של מודל ייצוג השפה הטבעית של Microsoft Turing, המשמש במקומות כמו Bing, Office, Dynamics ו-Azure Cognitive Services, ומניעה מגוון רחב של תרחישים הכוללים אינטראקציות בין אדם למכונה ובין אדם לאדם באמצעות שפה טבעית (כגון צ'טבוט, המלצה, מענה לשאלות, חיפוש, סיוע אישי, אוטומציה של תמיכת לקוחות, יצירת תוכן ועוד). בנוסף, מיקרוסופט תשחרר לציבור את מודל DeBERTa של 1.5 מיליארד פרמטרים ואת קוד המקור.

קרא את כל הפרטים במיקרוסופט כאן.