Microsoft DeBERTa ohitti pienet ihmiset SuperGlue-lukemisen ymmärtämistestissä
2 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Miljoonien parametrien koulutusverkostoissa on viime aikoina edistytty valtavasti. Microsoft päivitti äskettäin DeBERTa-mallin (Decoding-enhanced BERT with disentangled attention) -mallin kouluttamalla suuremman version, joka koostuu 48 muuntajakerroksesta ja 1.5 miljardista parametrista. Merkittävä suorituskyvyn lisäys saa yksittäisen DeBERTa-mallin ylittämään ihmisen suorituskyvyn SuperGLUE-kielen käsittelyssä ja ymmärtämisessä ensimmäistä kertaa makrokeskiarvopisteissä (89.9 vs. 89.8), mikä ylittää ihmisen perustason kohtuullisella marginaalilla (90.3 vs. 89.8). . SuperGLUE-benchmark koostuu laajasta valikoimasta luonnollisen kielen ymmärtämiseen liittyviä tehtäviä, mukaan lukien kysymyksiin vastaaminen ja luonnollisen kielen päättely. Malli on myös GLUE-benchmark-listan kärjessä makrokeskiarvolla 90.8.
DeBERTa parantaa aiempia huipputeknisiä PLM:itä (esimerkiksi BERT, RoBERTa, UniLM) käyttämällä kolmea uutta tekniikkaa: irrotettu huomiomekanismi, parannettu maskin dekooderi ja virtuaalinen vastustava harjoitusmenetelmä hienosäätöön.
Verrattuna Googlen T5-malliin, joka koostuu 11 miljardista parametrista, 1.5 miljardin parametrin DeBERTa on paljon energiatehokkaampi kouluttaa ja ylläpitää, ja se on helpompi pakata ja ottaa käyttöön eri asetusten sovelluksissa.
DeBERTa, joka ylitti ihmisen suorituskyvyn SuperGLUE:lla, on tärkeä virstanpylväs kohti yleistä tekoälyä. Huolimatta lupaavista SuperGLUE-tuloksista, malli ei suinkaan saavuta NLU:n ihmistason älykkyyttä. Ihminen on erittäin hyvä hyödyntämään eri tehtävistä opittua tietoa uuden tehtävän ratkaisemiseksi ilman tai vain vähän tehtäväkohtaista esittelyä.
Microsoft integroi teknologian Microsoft Turingin luonnollisen kielen esitysmallin seuraavaan versioon, jota käytetään esimerkiksi Bingissä, Officessa, Dynamicsissa ja Azure Cognitive Servicesissä. luonnollinen kieli (kuten chatbot, suositus, kysymyksiin vastaaminen, haku, henkilökohtainen apu, asiakastuen automaatio, sisällön luominen ja muut). Lisäksi Microsoft julkaisee 1.5 miljardin parametrin DeBERTa-mallin ja lähdekoodin yleisölle.
Lue kaikki yksityiskohdat Microsoftilta tätä.
