Googles overmenneskelige AI afsætter Microsoft Research, mere, i læseforståelsestest

In et papir offentliggjort onsdag på OpenReview.net, Google AI og Toyota Technological Institute of Chicago har annonceret, at deres nye AI, ALBERT, har indtaget førstepladsen i adskillige læseforståelsestests i naturligt sprog og har taget førstepladsen i SQuAD 2.0, GLUE og høj RACE-præstationsscore.

På benchmark for General Language Understanding Evaluation (GLUE) opnår ALBERT en score på 89.4, på Stanford Question Answering Dataset benchmark (SQUAD), 92.2, og på læseforståelse fra engelsk eksamen (RACE) benchmark, 89.4%.

For SQUAD 2.0 er den gennemsnitlige menneskelige præstation 89.452.

SQuAD2.0 kombinerer de 100,000 spørgsmål i SQuAD1.1 med over 50,000 nye, ubesvarelige spørgsmål skrevet modsat af crowdworkers for at ligne svarbare. For at klare sig godt på SQuAD2.0 skal systemerne ikke kun besvare spørgsmål, når det er muligt, men også afgøre, hvornår intet svar understøttes af afsnittet og undlade at svare.

ALBERT "bruger parameterreduktionsteknikker til at sænke hukommelsesforbruget og øge træningshastigheden af ​​BERT,"

"Vores foreslåede metoder fører til modeller, der skalerer meget bedre sammenlignet med den originale BERT. Vi bruger også et selvovervåget tab, der fokuserer på modellering af sammenhæng mellem sætninger, og viser, at det konsekvent hjælper downstream-opgaver med input af flere sætninger," lyder avisen.

Top AI-virksomheder har kæmpet om den øverste plads i en konkurrence. I slutningen af ​​juli introducerede Facebook AI Research RoBERTa, en model, der opnåede state-of-the-art resultater, og i maj introducerede Microsoft AI-forskere Multi-Task Deep Neural Network (MT-DNN), en model, der opnåede topkarakterer i 7 af 9 GLUE benchmarks.

Teknologien har indlysende applikationer til at læse den omfangsrige mængde tekst på internettet og give sammenhængende svar, en indlysende fordel for søgemaskiner.

Via VentureBeat