Microsoft DeBERTa แซงหน้ามนุษย์ที่อ่อนแอในการทดสอบความเข้าใจในการอ่าน SuperGlue
2 นาที. อ่าน
เผยแพร่เมื่อ
แชร์บทความนี้
ปรับปรุงคู่มือนี้
อ่านหน้าการเปิดเผยข้อมูลของเราเพื่อดูว่าคุณจะช่วย MSPoweruser รักษาทีมบรรณาธิการได้อย่างไร อ่านเพิ่มเติม
เมื่อเร็ว ๆ นี้มีความคืบหน้าอย่างมากในเครือข่ายการฝึกอบรมที่มีพารามิเตอร์นับล้าน Microsoft เพิ่งอัปเดตโมเดล DeBERTa (BERT ที่ปรับปรุงการถอดรหัสโดยมีความสนใจที่ไม่เกี่ยวข้อง) โดยการฝึกเวอร์ชันที่ใหญ่กว่าที่ประกอบด้วย 48 Transformer เลเยอร์พร้อมพารามิเตอร์ 1.5 พันล้าน การเพิ่มประสิทธิภาพอย่างมีนัยสำคัญทำให้โมเดล DeBERTa เดียวมีประสิทธิภาพเหนือกว่าประสิทธิภาพของมนุษย์ในการประมวลผลภาษา SuperGLUE และความเข้าใจเป็นครั้งแรกในแง่ของคะแนนเฉลี่ยมหภาค (89.9 เทียบกับ 89.8) ซึ่งมีประสิทธิภาพเหนือกว่าพื้นฐานของมนุษย์โดยมีขอบพอสมควร (90.3 เทียบกับ 89.8) . เกณฑ์มาตรฐาน SuperGLUE ประกอบด้วยงานทำความเข้าใจภาษาธรรมชาติมากมาย รวมถึงการตอบคำถาม การอนุมานภาษาธรรมชาติ โมเดลนี้ยังอยู่ในอันดับต้น ๆ ของการจัดอันดับมาตรฐาน GLUE ด้วยคะแนนเฉลี่ยมหภาคที่ 90.8
DeBERTa ปรับปรุง PLM ที่ล้ำสมัยก่อนหน้า (เช่น BERT, RoBERTa, UniLM) โดยใช้เทคนิคใหม่สามเทคนิค: กลไกการเอาใจใส่ที่คลี่คลาย ตัวถอดรหัสมาสก์ที่ได้รับการปรับปรุง และวิธีการฝึกอบรมฝ่ายตรงข้ามเสมือนสำหรับการปรับแต่งอย่างละเอียด
เมื่อเปรียบเทียบกับรุ่น T5 ของ Google ซึ่งประกอบด้วยพารามิเตอร์ 11 พันล้านพารามิเตอร์ DeBERTa 1.5 พันล้านพารามิเตอร์นั้นประหยัดพลังงานมากกว่าในการฝึกอบรมและบำรุงรักษา และง่ายต่อการบีบอัดและปรับใช้กับแอปที่มีการตั้งค่าต่างๆ
DeBERTa มีประสิทธิภาพเหนือกว่ามนุษย์ใน SuperGLUE นับเป็นก้าวสำคัญสู่ AI ทั่วไป แม้จะมีผลลัพธ์ที่น่าพึงพอใจใน SuperGLUE แต่แบบจำลองนี้ก็ไม่สามารถเข้าถึงความฉลาดระดับมนุษย์ของ NLU ได้ มนุษย์เก่งมากในการใช้ประโยชน์จากความรู้ที่เรียนรู้จากงานต่างๆ เพื่อแก้ไขงานใหม่โดยไม่ต้องมีการสาธิตเฉพาะงานหรือเพียงเล็กน้อย
Microsoft จะผสานรวมเทคโนโลยีเข้ากับรุ่นถัดไปของรูปแบบการแสดงภาษาธรรมชาติของ Microsoft Turing ซึ่งใช้ในสถานที่ต่างๆ เช่น Bing, Office, Dynamics และ Azure Cognitive Services โดยจะขับเคลื่อนสถานการณ์ที่หลากหลายที่เกี่ยวข้องกับปฏิสัมพันธ์ระหว่างมนุษย์กับเครื่องจักรและระหว่างมนุษย์ผ่าน ภาษาที่เป็นธรรมชาติ (เช่น แชทบอท คำแนะนำ การตอบคำถาม การค้นหา ความช่วยเหลือส่วนบุคคล การสนับสนุนลูกค้าอัตโนมัติ การสร้างเนื้อหา และอื่นๆ) นอกจากนี้ Microsoft จะเปิดตัวโมเดล DeBERTa 1.5 พันล้านพารามิเตอร์และซอร์สโค้ดต่อสาธารณะ
อ่านรายละเอียดทั้งหมดได้ที่ Microsoft โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม.
