Googles övermänskliga AI avsätter Microsoft Research, mer, i läsförståelsetestet

In en tidning publicerad onsdag på OpenReview.net, Google AI och Toyota Technological Institute of Chicago har meddelat att deras nya AI, ALBERT, har tagit topplaceringen i flera naturliga läsförståelsetest och tagit första platsen i SQuAD 2.0, GLUE och höga RACE-prestandapoäng.

På riktmärket General Language Understanding Evaluation (GLUE) uppnår ALBERT ett betyg på 89.4, på Stanford Question Answering Dataset benchmark (SQUAD), 92.2, och på läsförståelse från English Examinations (RACE) benchmark, 89.4%.

För SQUAD 2.0 är den genomsnittliga mänskliga prestandan 89.452.

SQuAD2.0 kombinerar de 100,000 1.1 frågorna i SQuAD50,000 med över 2.0 XNUMX nya, obesvarade frågor skrivna mot varandra av crowdworkers för att se ut som svarsbara. För att göra bra ifrån sig på SQuADXNUMX måste systemen inte bara svara på frågor när det är möjligt, utan också avgöra när inget svar stöds av stycket och avstå från att svara.

ALBERT "använder parameterminskningstekniker för att sänka minnesförbrukningen och öka träningshastigheten för BERT,"

”Våra föreslagna metoder leder till modeller som skalas mycket bättre jämfört med den ursprungliga BERT. Vi använder också en självövervakad förlust som fokuserar på att modellera koherens mellan meningar, och visar att det konsekvent hjälper nedströmsuppgifter med inmatningar av flera meningar”, står det i tidningen.

De bästa AI-företagen har tävlat om den bästa plats i en tävling. I slutet av juli introducerade Facebook AI Research RoBERTa, en modell som uppnådde toppmoderna resultat, och i maj introducerade Microsoft AI-forskare Multi-Task Deep Neural Network (MT-DNN), en modell som uppnådde toppbetyg i 7 av 9 GLUE-riktmärken.

Tekniken har uppenbara tillämpningar för att läsa den voluminösa mängden text på internet och ge sammanhängande svar, en uppenbar fördel för sökmotorer.

Via VentureBeat