Microsoft DeBERTa melampaui manusia lemah dalam tes pemahaman membaca SuperGlue
2 menit Baca
Ditampilkan di
Bagikan artikel ini
Sempurnakan panduan ini
Baca halaman pengungkapan kami untuk mengetahui bagaimana Anda dapat membantu MSPoweruser mempertahankan tim editorial Baca lebih lanjut
Ada kemajuan besar baru-baru ini dalam jaringan pelatihan dengan jutaan parameter. Microsoft baru-baru ini memperbarui model DeBERTa (Decoding-enhanced BERT with disentangled attention) dengan melatih versi yang lebih besar yang terdiri dari 48 lapisan Transformer dengan 1.5 miliar parameter. Peningkatan kinerja yang signifikan membuat model DeBERTa tunggal melampaui kinerja manusia pada pemrosesan dan pemahaman bahasa SuperGLUE untuk pertama kalinya dalam hal skor rata-rata makro (89.9 versus 89.8), mengungguli baseline manusia dengan margin yang layak (90.3 versus 89.8) . Benchmark SuperGLUE terdiri dari berbagai tugas Pemahaman Bahasa Alami, termasuk menjawab pertanyaan, inferensi bahasa alami. Model ini juga berada di puncak peringkat benchmark GLUE dengan skor rata-rata makro 90.8.
DeBERTa meningkatkan PLM canggih sebelumnya (misalnya, BERT, RoBERTa, UniLM) menggunakan tiga teknik baru: mekanisme perhatian yang tidak terjerat, dekoder topeng yang disempurnakan, dan metode pelatihan permusuhan virtual untuk penyesuaian.
Dibandingkan dengan model T5 Google, yang terdiri dari 11 miliar parameter, DeBERTa 1.5 miliar parameter jauh lebih hemat energi untuk dilatih dan dirawat, serta lebih mudah dikompres dan diterapkan ke aplikasi dengan berbagai setelan.
DeBERTa yang melampaui kinerja manusia di SuperGLUE menandai tonggak penting menuju AI umum. Terlepas dari hasil yang menjanjikan pada SuperGLUE, model ini sama sekali tidak mencapai kecerdasan tingkat manusia dari NLU. Manusia sangat pandai memanfaatkan pengetahuan yang dipelajari dari tugas yang berbeda untuk menyelesaikan tugas baru tanpa atau sedikit demonstrasi khusus tugas.
Microsoft akan mengintegrasikan teknologi ke dalam versi berikutnya dari model representasi bahasa alami Microsoft Turing, yang digunakan di tempat-tempat seperti Bing, Office, Dynamics, dan Layanan Kognitif Azure, mendukung berbagai skenario yang melibatkan interaksi manusia-mesin dan manusia-manusia melalui bahasa alami (seperti chatbot, rekomendasi, penjawab pertanyaan, pencarian, bantuan pribadi, otomatisasi dukungan pelanggan, pembuatan konten, dan lain-lain). Selain itu, Microsoft akan merilis model DeBERTa dengan parameter 1.5 miliar dan kode sumbernya ke publik.
Baca semua detailnya di Microsoft di sini.
