Googles overmenneskelige AI avtroner Microsoft Research, mer, i leseforståelsestest

In en artikkel publisert onsdag på OpenReview.net, Google AI og Toyota Technological Institute of Chicago har annonsert at deres nye AI, ALBERT, har tatt førsteplassen i flere leseforståelsestester for naturlig språk, og har tatt førsteplassen i SQuAD 2.0, GLUE og høy RACE-ytelsespoeng.

På General Language Understanding Evaluation (GLUE)-benchmark oppnår ALBERT en poengsum på 89.4, på Stanford Question Answering Dataset-benchmark (SQUAD), 92.2, og på Reading Comprehension from English Examinations (RACE), 89.4%.

For SQUAD 2.0 er gjennomsnittlig menneskelig ytelse 89.452.

SQuAD2.0 kombinerer de 100,000 1.1 spørsmålene i SQuAD50,000 med over 2.0 XNUMX nye, ubesvarte spørsmål skrevet motsatt av crowdworkers for å se ut som svarbare. For å gjøre det bra på SQuADXNUMX, må systemene ikke bare svare på spørsmål når det er mulig, men også avgjøre når ingen svar støttes av avsnittet og avstå fra å svare.

ALBERT "bruker parameterreduksjonsteknikker for å redusere minneforbruket og øke treningshastigheten til BERT,"

«Våre foreslåtte metoder fører til modeller som skaleres mye bedre sammenlignet med den originale BERT. Vi bruker også et selvovervåket tap som fokuserer på å modellere sammenheng mellom setninger, og viser at det konsekvent hjelper nedstrømsoppgaver med flere setninger, heter det i avisen.

Topp AI-selskaper har kjempet om den øverste spilleautomaten i en konkurranse. I slutten av juli introduserte Facebook AI Research RoBERTa, en modell som oppnådde toppmoderne resultater, og i mai introduserte Microsoft AI-forskere Multi-Task Deep Neural Network (MT-DNN), en modell som oppnådde toppkarakterer i 7 av 9 GLUE-standarder.

Teknologien har åpenbare applikasjoner for å lese den omfangsrike tekstmengden på internett og gi sammenhengende svar, en åpenbar fordel for søkemotorer.

via Venture