Googles übermenschliche KI entthront Microsoft Research beim Leseverständnistest
2 Minute. lesen
Veröffentlicht am
Teile diesen Artikel
Verbessern Sie diesen Leitfaden
Lesen Sie unsere Offenlegungsseite, um herauszufinden, wie Sie MSPoweruser dabei helfen können, das Redaktionsteam zu unterstützen Lesen Sie weiter
In ein am Mittwoch auf OpenReview.net veröffentlichtes Papier, Google AI und das Toyota Technological Institute of Chicago haben bekannt gegeben, dass ihre neue KI ALBERT in mehreren Leseverständnistests für natürliche Sprache den ersten Platz belegt und den ersten Platz in SQuAD 2.0, GLUE und High RACE Performance Score belegt hat.
Beim Benchmark General Language Understanding Evaluation (GLUE) erreicht ALBERT eine Punktzahl von 89.4, beim Benchmark Stanford Question Answering Dataset (SQUAD) 92.2 und beim Benchmark ReAding Comprehension from English Examinations (RACE) 89.4 %.
Für SQUAD 2.0 beträgt die durchschnittliche menschliche Leistung 89.452.
SQuAD2.0 kombiniert die 100,000 Fragen in SQuAD1.1 mit über 50,000 neuen, unbeantwortbaren Fragen, die von Crowdworkern gegensätzlich geschrieben wurden, um beantwortbaren ähnlich zu sein. Um bei SQuAD2.0 gut abzuschneiden, müssen Systeme nicht nur Fragen beantworten, wenn dies möglich ist, sondern auch feststellen, wann keine Antwort durch den Absatz unterstützt wird, und sich der Beantwortung enthalten.
ALBERT „verwendet Techniken zur Parameterreduzierung, um den Speicherverbrauch zu senken und die Trainingsgeschwindigkeit von BERT zu erhöhen“,
„Unsere vorgeschlagenen Methoden führen zu Modellen, die im Vergleich zum ursprünglichen BERT viel besser skalieren. Wir verwenden auch einen selbstüberwachten Verlust, der sich auf die Modellierung der Kohärenz zwischen Sätzen konzentriert, und zeigen, dass er konsequent nachgelagerte Aufgaben mit Eingaben aus mehreren Sätzen unterstützt“, heißt es in dem Papier.
Top-KI-Unternehmen haben in einem Wettbewerb um den ersten Platz gekämpft. Ende Juli stellte Facebook AI Research RoBERTa vor, ein Modell, das hochmoderne Ergebnisse erzielte, und im Mai stellten Microsoft AI-Forscher Multi-Task Deep Neural Network (MT-DNN) vor, ein Modell, das Bestnoten erzielte 7 von 9 GLUE-Benchmarks.
Die Technologie hat offensichtliche Anwendungen, um die umfangreichen Textmengen im Internet zu lesen und kohärente Antworten zu liefern, ein offensichtlicher Vorteil für Suchmaschinen.
Weitere Informationen zur Stelle und den Ansprechpartner in unserem Hause finden Sie hier: VentureBeat
