Надлюдський штучний інтелект від Google скидає Microsoft Research, більше того, у тесті на розуміння прочитаного
2 хв. читати
Опубліковано
Поділитися цією статтею
Удосконалити цей посібник
Прочитайте нашу сторінку розкриття інформації, щоб дізнатися, як ви можете допомогти MSPoweruser підтримувати редакційну команду Читати далі
In стаття, опублікована в середу на OpenReview.net, Google AI та Toyota Technological Institute of Chicago оголосили, що їхній новий AI, ALBERT, посів перше місце в кількох тестах на розуміння читання природною мовою, посівши перше місце в SQuAD 2.0, GLUE та високому показнику RACE.
За тестом загального розуміння мови (GLUE) ALBERT досягає 89.4 бала, за тестом Стенфордського набору даних із запитаннями (SQUAD) — 92.2, а за контрольним показником «Розуміння читання з іспитів з англійської мови» (RACE) — 89.4%.
Для SQUAD 2.0 середня продуктивність людини становить 89.452.
SQuAD2.0 поєднує 100,000 1.1 запитань у SQuAD50,000 з понад 2.0 XNUMX нових питань, на які не можна відповісти, написаних володарями, щоб виглядати схожими на ті, на які можна відповісти. Щоб добре працювати на SQuADXNUMX, системи повинні не тільки відповідати на запитання, коли це можливо, але й визначати, коли абзац не підтримує жодну відповідь, і утримуватися від відповіді.
ALBERT «використовує методи зменшення параметрів, щоб зменшити споживання пам’яті та збільшити швидкість навчання BERT»,
«Запропоновані нами методи призводять до моделей, які масштабуються набагато краще в порівнянні з оригінальним BERT. Ми також використовуємо самоконтрольну втрату, яка зосереджується на моделюванні узгодженості між реченнями, і показуємо, що вона постійно допомагає наступним завданням із введенням кількох речень», – йдеться у статті.
Найкращі компанії зі штучним інтелектом змагаються за перше місце в конкурсі. Наприкінці липня Facebook AI Research представив RoBERTa, модель, яка досягла найсучасніших результатів, а в травні дослідники Microsoft AI представили багатозадачну глибоку нейронну мережу (MT-DNN), модель, яка досягла найвищих оцінок у 7 з 9 тестів GLUE.
Технологія має очевидне застосування для читання великої кількості тексту в Інтернеті та надання узгоджених відповідей, що є очевидною перевагою для пошукових систем.
через VentureBeat
