הבינה המלאכותית העל-אנושית של גוגל מבטלת את מחקר מיקרוסופט, ועוד, במבחן הבנת הנקרא

In מאמר שפורסם ביום רביעי ב-OpenReview.net, Google AI והמכון הטכנולוגי של Toyota של שיקגו הכריזו שה-AI החדש שלהם, ALBERT, תפס את המקום הראשון במספר מבחני הבנת הנקרא בשפה טבעית, ולקח את המקום הראשון ב-SQuAD 2.0, GLUE וציון ביצועים גבוה ב-RACE.

במדד הבנת השפה הכללית (GLUE), ALBERT משיגה ציון של 89.4, במדד סטנפורד שאלות תשובות נתונים (SQUAD), 92.2, ובמדד הבנת הנקרא מבחינות באנגלית (RACE), 89.4%.

עבור SQUAD 2.0 הביצועים האנושיים הממוצעים הם 89.452.

SQuAD2.0 משלב את 100,000 השאלות ב-SQuAD1.1 עם למעלה מ-50,000 שאלות חדשות, בלתי ניתנות לתשובה, שנכתבו ביריב על ידי עובדי המונים כדי להיראות דומות לשאלות שניתן לענות עליהן. כדי להצליח ב-SQuAD2.0, על המערכות לא רק לענות על שאלות כשאפשר, אלא גם לקבוע מתי אין תשובה נתמכת בפסקה ולהימנע מתשובה.

ALBERT "משתמש בטכניקות הפחתת פרמטרים כדי להפחית את צריכת הזיכרון ולהגביר את מהירות האימון של BERT,"

"השיטות המוצעות שלנו מובילות למודלים שמתרחבים הרבה יותר בהשוואה ל-BERT המקורי. אנחנו גם משתמשים באובדן בפיקוח עצמי שמתמקד במודלים של קוהרנטיות בין משפטים, ומראים שהוא עוזר בעקביות למשימות במורד הזרם עם קלט מרובת משפטים", נכתב בעיתון.

חברות בינה מלאכותית מובילות התמודדו על המשבצת הראשונה בתחרות. בסוף יולי, Facebook AI Research הציגה את RobERTa, מודל שהשיג תוצאות מתקדמות, ובמאי, חוקרי AI של מיקרוסופט הציגו Multi-Task Deep Neural Network (MT-DNN), מודל שהשיג ציונים גבוהים ב- 7 מתוך 9 אמות מידה של GLUE.

לטכנולוגיה יש יישומים ברורים לקריאת כמות הטקסט העצומה באינטרנט ומתן תשובות קוהרנטיות, יתרון ברור למנועי החיפוש.

בְּאֶמצָעוּת VentureBeat