L'intelligenza artificiale sovrumana di Google detronizza Microsoft Research, inoltre, nei test di comprensione della lettura
2 minuto. leggere
Edizione del
Condividi questo articolo
Migliora questa guida
Leggi la nostra pagina informativa per scoprire come puoi aiutare MSPoweruser a sostenere il team editoriale Per saperne di più
In un articolo pubblicato mercoledì su OpenReview.net, Google AI e Toyota Technological Institute of Chicago hanno annunciato che la loro nuova AI, ALBERT, ha ottenuto il primo posto in diversi test di comprensione della lettura del linguaggio naturale, ottenendo il primo posto in SQuAD 2.0, GLUE e un punteggio di performance RACE elevato.
Nel benchmark General Language Understanding Evaluation (GLUE), ALBERT ottiene un punteggio di 89.4, nel benchmark Stanford Question Answering Dataset (SQUAD), 92.2 e nel benchmark ReAding Comprehension from English Examinations (RACE), 89.4%.
Per SQUAD 2.0 la performance umana media è 89.452.
SQuAD2.0 combina le 100,000 domande in SQuAD1.1 con oltre 50,000 nuove domande senza risposta scritte in contraddittorio dai crowdworker per sembrare simili a quelle a cui è possibile rispondere. Per fare bene su SQuAD2.0, i sistemi non devono solo rispondere alle domande quando possibile, ma anche determinare quando nessuna risposta è supportata dal paragrafo e astenersi dal rispondere.
ALBERT "utilizza tecniche di riduzione dei parametri per ridurre il consumo di memoria e aumentare la velocità di allenamento di BERT",
“I nostri metodi proposti portano a modelli che scalano molto meglio rispetto al BERT originale. Utilizziamo anche una perdita autocontrollata che si concentra sulla modellazione della coerenza tra le frasi e mostra che aiuta costantemente le attività a valle con input multi-frase", si legge nel documento.
Le migliori aziende di intelligenza artificiale sono state in lizza per il primo posto in un concorso. Alla fine di luglio, Facebook AI Research ha introdotto RoBERTa, un modello che ha ottenuto risultati all'avanguardia, e a maggio, i ricercatori Microsoft AI hanno introdotto Multi-Task Deep Neural Network (MT-DNN), un modello che ha ottenuto il massimo dei voti in 7 di 9 benchmark di COLLA.
La tecnologia ha ovvie applicazioni per leggere la voluminosa quantità di testo su Internet e fornire risposte coerenti, un ovvio vantaggio per i motori di ricerca.
via VentureBeat
