Microsoft DeBERTa, SuperGlue okuduğunu anlama testinde cılız insanları geride bıraktı
2 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Milyonlarca parametreli eğitim ağlarında son zamanlarda büyük ilerleme kaydedilmiştir. Microsoft, kısa süre önce, 48 milyar parametreli 1.5 Transformer katmanından oluşan daha büyük bir sürümü eğiterek DeBERTa (Kod çözme ile geliştirilmiş BERT ile çözülmüş dikkatle) modelini güncelledi. Önemli performans artışı, tek DeBERTa modelinin SuperGLUE dil işleme ve anlamada insan performansını makro ortalama puan (89.9'a karşı 89.8) açısından ilk kez aşmasını sağlayarak, insan temel çizgisini makul bir farkla geride bırakıyor (90.3'e karşı 89.8) . SuperGLUE kıyaslaması, soru yanıtlama, doğal dil çıkarımı dahil olmak üzere çok çeşitli Doğal Dil Anlama görevlerinden oluşur. Model ayrıca 90.8 makro ortalama puanı ile GLUE kıyaslama sıralamasında da en üst sırada yer alıyor.
DeBERTa, önceki son teknoloji PLM'leri (örneğin, BERT, RoBERTa, UniLM) üç yeni teknik kullanarak geliştirir: çözülmüş bir dikkat mekanizması, gelişmiş bir maske kod çözücü ve ince ayar için sanal bir çekişmeli eğitim yöntemi.
Google'ın 5 milyar parametreden oluşan T11 modeliyle karşılaştırıldığında, 1.5 milyar parametreli DeBERTa'nın eğitilmesi ve bakımı çok daha fazla enerji tasarrufu sağlar ve çeşitli ayarlardaki uygulamaları sıkıştırmak ve dağıtmak daha kolaydır.
SuperGLUE üzerinde insan performansını aşan DeBERTa, genel AI için önemli bir kilometre taşını işaret ediyor. SuperGLUE üzerindeki umut verici sonuçlarına rağmen, model hiçbir şekilde NLU'nun insan seviyesindeki zekasına ulaşmıyor. İnsanlar, yeni bir görevi çözmek için farklı görevlerden öğrenilen bilgileri, göreve özgü gösteri göstermeden ya da çok az kullanarak kullanmakta son derece iyidir.
Microsoft, teknolojiyi, Bing, Office, Dynamics ve Azure Bilişsel Hizmetler gibi yerlerde kullanılan Microsoft Turing doğal dil temsil modelinin bir sonraki sürümüne entegre ederek, insan-makine ve insan-insan etkileşimlerini içeren çok çeşitli senaryoları güçlendirecek. doğal dil (chatbot, öneri, soru yanıtlama, arama, kişisel yardım, müşteri destek otomasyonu, içerik oluşturma ve diğerleri gibi). Ayrıca Microsoft, 1.5 milyar parametrelik DeBERTa modelini ve kaynak kodunu da kamuoyuna açıklayacak.
Tüm ayrıntıları Microsoft'ta okuyun okuyun.
