Googlen yli-inhimillinen tekoäly syrjäyttää Microsoft Researchin luetun ymmärtämisen testissä
2 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
In paperi julkaistiin keskiviikkona OpenReview.netissä, Google AI ja Toyota Technological Institute of Chicago ovat ilmoittaneet, että heidän uusi tekoäly, ALBERT, on noussut ykkössijalle useissa luonnollisen kielen luetun ymmärtämisen testeissä saaden ensimmäisen sijan SQuAD 2.0:ssa, GLUE:ssa ja korkeissa RACE-suorituskykypisteissä.
Yleisen kielen ymmärtämisen arvioinnin (GLUE) vertailuarvossa ALBERT saavuttaa 89.4 pisteen, Stanfordin kysymysvastausten tietojoukon (SQUAD) vertailuarvon 92.2 ja luetun ymmärtämisen englannin kokeista (RACE) 89.4%.
SQUAD 2.0:lla ihmisen keskimääräinen suorituskyky on 89.452 XNUMX.
SQuAD2.0 yhdistää SQuAD100,000:n 1.1 50,000 kysymystä yli 2.0 XNUMX uuteen, vastaamattomaan kysymykseen, jotka joukkotyöntekijät ovat kirjoittaneet vastustaen ja näyttämään samanlaisilta kuin vastattavat. Menestyäkseen hyvin SQuADXNUMX:ssa järjestelmien on paitsi vastattava kysymyksiin, jos mahdollista, myös määritettävä, milloin kappale ei tue vastausta, ja pidättäydyttävä vastaamasta.
ALBERT "käyttää parametrien vähennystekniikoita vähentääkseen muistin kulutusta ja lisätäkseen BERTin harjoitusnopeutta",
"Ehdotamamme menetelmät johtavat malleihin, jotka skaalautuvat paljon paremmin kuin alkuperäinen BERT. Käytämme myös itsevalvottua häviötä, joka keskittyy lauseiden välisen johdonmukaisuuden mallintamiseen, ja näytämme, että se auttaa johdonmukaisesti loppupään tehtävissä usean lauseen syötteillä”, lehdessä lukee.
Parhaat tekoälyyritykset ovat taistelleet kilpailun parhaasta paikasta. Heinäkuun lopulla Facebook AI Research esitteli RoBERTa-mallin, joka saavutti huippuluokan tuloksia, ja toukokuussa Microsoft AI -tutkijat esittelivät Multi-Task Deep Neural Network (MT-DNN), mallin, joka saavutti huippupisteet 7/9 GLUE-mittausarvoa.
Tekniikalla on ilmeisiä sovelluksia Internetin suuren tekstimäärän lukemiseen ja johdonmukaisten vastausten antamiseen, mikä on ilmeinen etu hakukoneille.
kautta VentureBeat
