AI manusia super Google melengserkan Microsoft Research, lebih lagi, dalam tes pemahaman bacaan
2 menit Baca
Ditampilkan di
Bagikan artikel ini
Sempurnakan panduan ini
Baca halaman pengungkapan kami untuk mengetahui bagaimana Anda dapat membantu MSPoweruser mempertahankan tim editorial Baca lebih lanjut
In makalah yang diterbitkan Rabu di OpenReview.net, Google AI dan Toyota Technological Institute of Chicago telah mengumumkan bahwa AI baru mereka, ALBERT, telah menempati posisi teratas dalam beberapa tes pemahaman membaca bahasa alami, menempati posisi pertama dalam skor kinerja SQuAD 2.0, GLUE, dan RACE tinggi.
Pada benchmark General Language Understanding Evaluation (GLUE), ALBERT mencapai skor 89.4, pada benchmark Stanford Question Answering Dataset (SQUAD), 92.2, dan pada benchmark ReAding Comprehension from English Examinations (RACE), 89.4%.
Untuk SQUAD 2.0 rata-rata kinerja manusia adalah 89.452.
SQuAD2.0 menggabungkan 100,000 pertanyaan di SQuAD1.1 dengan lebih dari 50,000 pertanyaan baru yang tidak dapat dijawab yang ditulis secara berlawanan oleh pekerja gerombolan agar terlihat mirip dengan pertanyaan yang dapat dijawab. Untuk melakukannya dengan baik di SQuAD2.0, sistem tidak hanya harus menjawab pertanyaan jika memungkinkan, tetapi juga menentukan kapan tidak ada jawaban yang didukung oleh paragraf dan tidak menjawab.
ALBERT "menggunakan teknik pengurangan parameter untuk menurunkan konsumsi memori dan meningkatkan kecepatan pelatihan BERT,"
“Metode yang kami usulkan menghasilkan model yang skalanya jauh lebih baik dibandingkan dengan BERT asli. Kami juga menggunakan self-supervised loss yang berfokus pada pemodelan koherensi antar-kalimat, dan menunjukkannya secara konsisten membantu tugas hilir dengan input multi-kalimat, ”tulis makalah itu.
Perusahaan AI teratas telah bersaing untuk mendapatkan slot teratas dalam sebuah kontes. Pada akhir Juli, Facebook AI Research memperkenalkan RoBERTa, model yang mencapai hasil mutakhir, dan pada Mei, peneliti AI Microsoft memperkenalkan Multi-Task Deep Neural Network (MT-DNN), model yang mencapai nilai tertinggi dalam 7 dari 9 tolok ukur GLUE.
Teknologi ini memiliki aplikasi yang jelas untuk membaca sejumlah besar teks di internet dan memberikan jawaban yang koheren, manfaat yang jelas bagi mesin pencari.
melalui VentureBeat
