Microsoft DeBERTa předčí maličké lidi v testu porozumění čtení SuperGlue
2 min. číst
Publikované dne
Sdílejte tento článek
Vylepšete tuto příručku
Přečtěte si naši informační stránku a zjistěte, jak můžete pomoci MSPoweruser udržet redakční tým Dozvědět se více
V poslední době došlo k masivnímu pokroku v tréninkových sítích s miliony parametrů. Společnost Microsoft nedávno aktualizovala model DeBERTa (Decoding-enhanced BERT with disentangled attention) trénováním větší verze, která se skládá ze 48 vrstev Transformer s 1.5 miliardami parametrů. Díky výraznému zvýšení výkonu předčí jediný model DeBERTa poprvé lidský výkon při zpracování a porozumění jazyka SuperGLUE, pokud jde o makroprůměrné skóre (89.9 oproti 89.8), čímž překonal základní lidskou linii se slušným náskokem (90.3 oproti 89.8). . Benchmark SuperGLUE se skládá ze široké škály úloh porozumění přirozenému jazyku, včetně odpovědí na otázky a vyvozování přirozeného jazyka. Model je také na vrcholu žebříčku benchmarků GLUE s makroprůměrným skóre 90.8.
DeBERTa vylepšuje předchozí nejmodernější PLM (například BERT, RoBERTa, UniLM) pomocí tří nových technik: mechanismu rozptýlené pozornosti, vylepšeného dekodéru masky a metody virtuálního tréninku protivníka pro jemné doladění.
Ve srovnání s modelem T5 od Googlu, který se skládá z 11 miliard parametrů, je 1.5miliardový parametr DeBERTa mnohem energeticky efektivnější na trénování a údržbu a snáze se komprimuje a nasazuje do aplikací různých nastavení.
DeBERTa překonání lidského výkonu na SuperGLUE znamená důležitý milník směrem k obecné AI. Navzdory slibným výsledkům na SuperGLUE model v žádném případě nedosahuje lidské inteligence NLU. Lidé jsou extrémně dobří ve využívání znalostí získaných z různých úkolů k vyřešení nového úkolu s žádnou nebo jen malou ukázkou konkrétního úkolu.
Microsoft začlení technologii do další verze modelu reprezentace přirozeného jazyka Microsoft Turing, který se používá na místech, jako jsou Bing, Office, Dynamics a Azure Cognitive Services, a pohání širokou škálu scénářů zahrnujících interakce člověk-stroj a člověk-člověk prostřednictvím přirozený jazyk (jako je chatbot, doporučení, odpovídání na otázky, vyhledávání, osobní asistence, automatizace zákaznické podpory, generování obsahu a další). Kromě toho Microsoft zveřejní model DeBERTa s 1.5 miliardami parametrů a zdrojový kód pro veřejnost.
Přečtěte si všechny podrobnosti v Microsoftu zde.
