De bovenmenselijke AI van Google onttroont Microsoft Research in de test voor begrijpend lezen
2 minuut. lezen
Uitgegeven op
deel dit artikel
Verbeter deze handleiding
Lees onze openbaarmakingspagina om erachter te komen hoe u MSPoweruser kunt helpen het redactieteam te ondersteunen Lees meer
In een paper gepubliceerd woensdag op OpenReview.net, Google AI en Toyota Technological Institute of Chicago hebben aangekondigd dat hun nieuwe AI, ALBERT, de eerste plaats heeft ingenomen in verschillende tests voor begrijpend lezen in natuurlijke taal, met de eerste plaats in SQuAD 2.0, GLUE en hoge RACE-prestatiescore.
Op de General Language Understanding Evaluation (GLUE) benchmark, behaalt ALBERT een score van 89.4, op de Stanford Question Answering Dataset benchmark (SQUAD), 92.2, en op Read Comprehension from English Examinations (RACE) benchmark, 89.4%.
Voor SQUAD 2.0 is de gemiddelde menselijke prestatie 89.452.
SQuAD2.0 combineert de 100,000 vragen in SQuAD1.1 met meer dan 50,000 nieuwe, onbeantwoordbare vragen die tegendraads zijn geschreven door crowdworkers om er hetzelfde uit te zien als beantwoordbare vragen. Om goed te presteren op SQuAD2.0, moeten systemen niet alleen vragen beantwoorden waar mogelijk, maar ook bepalen wanneer geen antwoord wordt ondersteund door de paragraaf en zich onthouden van antwoorden.
ALBERT "gebruikt technieken voor parameterreductie om het geheugenverbruik te verlagen en de trainingssnelheid van BERT te verhogen",
“Onze voorgestelde methoden leiden tot modellen die veel beter schalen in vergelijking met de originele BERT. We gebruiken ook een zelf-gecontroleerd verlies dat zich richt op het modelleren van de samenhang tussen zinnen, en laten zien dat het consequent downstream-taken helpt met invoer van meerdere zinnen", luidt het artikel.
Top AI-bedrijven strijden om de beste gokkast in een wedstrijd. Eind juli introduceerde Facebook AI Research RoBERTa, een model dat state-of-the-art resultaten behaalde, en in mei introduceerden Microsoft AI-onderzoekers Multi-Task Deep Neural Network (MT-DNN), een model dat topscores behaalde in 7 van 9 GLUE-benchmarks.
De technologie heeft voor de hand liggende toepassingen voor het lezen van de omvangrijke hoeveelheid tekst op internet en het geven van coherente antwoorden, een duidelijk voordeel voor zoekmachines.
Via VentureBeat
