Microsoft DeBERTa prevyšuje maličkých ľudí v teste porozumenia pri čítaní SuperGlue
2 min. čítať
Publikované dňa
Zdieľajte tento článok
Vylepšite túto príručku
Prečítajte si našu informačnú stránku a zistite, ako môžete pomôcť MSPoweruser udržať redakčný tím Čítaj viac
Nedávno došlo k obrovskému pokroku v tréningových sieťach s miliónmi parametrov. Spoločnosť Microsoft nedávno aktualizovala model DeBERTa (Decoding-enhanced BERT with disentangled attention) trénovaním väčšej verzie, ktorá pozostáva zo 48 vrstiev Transformer s 1.5 miliardami parametrov. Vďaka výraznému zvýšeniu výkonu jediný model DeBERTa po prvý raz prekonáva ľudský výkon pri spracovaní a porozumení jazyka SuperGLUE, pokiaľ ide o makropriemerné skóre (89.9 oproti 89.8), čím prekoná ľudskú základnú líniu o slušnú hranicu (90.3 oproti 89.8). . Test SuperGLUE pozostáva zo širokej škály úloh porozumenia prirodzenému jazyku, vrátane odpovedí na otázky a odvodzovania prirodzeného jazyka. Model je tiež na vrchole rebríčka benchmarkov GLUE s makropriemerným skóre 90.8.
DeBERTa vylepšuje predchádzajúce najmodernejšie PLM (napríklad BERT, RoBERTa, UniLM) pomocou troch nových techník: mechanizmus rozpojenej pozornosti, vylepšený dekodér masky a metóda virtuálneho tréningu protivníkov na jemné doladenie.
V porovnaní s modelom T5 od Googlu, ktorý pozostáva z 11 miliárd parametrov, je 1.5-miliardový parameter DeBERTa oveľa energeticky efektívnejší na školenie a údržbu a je jednoduchšie ho komprimovať a nasadiť do aplikácií rôznych nastavení.
Prekonanie ľudského výkonu DeBERTa na SuperGLUE predstavuje dôležitý míľnik smerom k všeobecnej AI. Napriek sľubným výsledkom na SuperGLUE model v žiadnom prípade nedosahuje inteligenciu na ľudskej úrovni ako NLU. Ľudia sú mimoriadne dobrí vo využívaní vedomostí získaných z rôznych úloh na vyriešenie novej úlohy bez žiadnej alebo len malej demonštrácie špecifickej pre danú úlohu.
Spoločnosť Microsoft integruje technológiu do ďalšej verzie modelu reprezentácie prirodzeného jazyka Microsoft Turing, ktorý sa používa na miestach, ako sú Bing, Office, Dynamics a Azure Cognitive Services, a poháňa širokú škálu scenárov zahŕňajúcich interakcie človek-stroj a človek-človek prostredníctvom prirodzený jazyk (ako chatbot, odporúčanie, odpovedanie na otázky, vyhľadávanie, osobná asistencia, automatizácia zákazníckej podpory, generovanie obsahu a iné). Okrem toho Microsoft sprístupní verejnosti model DeBERTa s 1.5 miliardami parametrov a zdrojový kód.
Prečítajte si všetky podrobnosti v spoločnosti Microsoft tu.
