Nadľudská AI od Google zosadila z trónu Microsoft Research, viac, v teste porozumenia čítania

In dokument uverejnený v stredu na OpenReview.net, Google AI a Toyota Technologický inštitút v Chicagu oznámili, že ich nová AI, ALBERT, obsadila prvé miesto v niekoľkých testoch čítania s porozumením v prirodzenom jazyku, pričom obsadila prvé miesto v SQuAD 2.0, GLUE a vysokom RACE výkonnostnom skóre.

V benchmarku General Language Understanding Evaluation (GLUE) dosahuje ALBERT skóre 89.4, v benchmarku Stanford Question Answering Dataset (SQUAD) 92.2 a v benchmarku ReAding Comprehension from English Examinations (RACE) 89.4 %.

Pre SQUAD 2.0 je priemerný ľudský výkon 89.452.

SQuAD2.0 kombinuje 100,000 1.1 otázok v SQuAD50,000 s viac ako 2.0 XNUMX novými, nezodpovedateľnými otázkami napísanými protistranne pracovníkmi davu, aby vyzerali podobne ako tie, na ktoré sa dá odpovedať. Aby systém fungoval dobre na SQuADXNUMX, musia nielen odpovedať na otázky, ak je to možné, ale musia tiež určiť, kedy odsek nepodporuje žiadnu odpoveď, a zdržať sa odpovedí.

ALBERT „používa techniky znižovania parametrov na zníženie spotreby pamäte a zvýšenie tréningovej rýchlosti BERT,“

„Nami navrhované metódy vedú k modelom, ktoré sa škálujú oveľa lepšie v porovnaní s pôvodným BERT. Používame tiež stratu s vlastným dohľadom, ktorá sa zameriava na modelovanie súdržnosti medzi vetami a ukazuje, že dôsledne pomáha nadväzujúcim úlohám so vstupmi s viacerými vetami,“ píše sa v novinách.

Najlepšie spoločnosti s umelou inteligenciou súperili o najlepší slot v súťaži. Koncom júla predstavil Facebook AI Research model RoBERTa, ktorý dosahoval najmodernejšie výsledky, a v máji predstavili výskumníci Microsoft AI Multi-Task Deep Neural Network (MT-DNN), model, ktorý dosiahol najvyššie známky v 7 z 9 benchmarkov GLUE.

Táto technológia má zrejmé aplikácie na čítanie veľkého množstva textu na internete a poskytovanie súvislých odpovedí, čo je zjavná výhoda pre vyhľadávače.

Cez VentureBeat