Googlova nadčloveška umetna inteligenca je pri preizkusu bralnega razumevanja premagala Microsoft Research

In prispevek, objavljen v sredo na OpenReview.net, Google AI in Toyota Technological Institute of Chicago sta objavila, da je njihov novi AI, ALBERT, zasedel prvo mesto na več testih razumevanja branja v naravnem jeziku in zasedel prvo mesto v SQuAD 2.0, GLUE in visoko oceno uspešnosti RACE.

Pri merilu uspešnosti splošnega ocenjevanja razumevanja jezika (GLUE) ALBERT dosega oceno 89.4, pri standardu Stanford Question Answering Dataset (SQUAD) 92.2 in pri merilu ReAding Comprehance from English Examinations (RACE) 89.4%.

Za SQUAD 2.0 je povprečna človeška zmogljivost 89.452.

SQuAD2.0 združuje 100,000 vprašanj v SQuAD1.1 z več kot 50,000 novimi, neodgovorljivimi vprašanji, ki so jih nasprotno napisali množični delavci, da bi bili podobni tistim, na katere je mogoče odgovoriti. Za dobro delovanje na SQuAD2.0 morajo sistemi ne le odgovarjati na vprašanja, kadar je to mogoče, ampak tudi določiti, kdaj odstavek ne podpira nobenega odgovora, in se vzdržati odgovora.

ALBERT "uporablja tehnike zmanjševanja parametrov za zmanjšanje porabe pomnilnika in povečanje hitrosti treninga BERT,"

»Naše predlagane metode vodijo do modelov, ki so veliko boljši v primerjavi z originalnim BERT. Uporabljamo tudi samonadzorovano izgubo, ki se osredotoča na modeliranje skladnosti med stavki in pokaže, da dosledno pomaga pri nalogah na koncu z vhodi iz več stavkov,« piše v prispevku.

Najboljša podjetja z umetno inteligenco se potegujejo za prvo mesto v tekmovanju. Konec julija je Facebook AI Research predstavil RoBERTa, model, ki je dosegel najsodobnejše rezultate, maja pa so Microsoftovi raziskovalci AI predstavili večopravilno globoko nevronsko mrežo (MT-DNN), model, ki je dosegel najvišje ocene v 7 od 9 meril uspešnosti GLUE.

Tehnologija ima očitne aplikacije za branje obsežne količine besedila na internetu in zagotavljanje skladnih odgovorov, kar je očitna prednost za iskalnike.

Via Venturebeat