A IA sobre-humana do Google destrona a Microsoft Research, mais, no teste de compreensão de leitura
2 minutos. ler
Publicado em
Compartilhe este artigo
Melhore este guia
Leia nossa página de divulgação para descobrir como você pode ajudar o MSPoweruser a sustentar a equipe editorial Saiba mais
In um artigo publicado quarta-feira no OpenReview.net, Google AI e Toyota Technological Institute of Chicago anunciaram que seu novo AI, ALBERT, conquistou o primeiro lugar em vários testes de compreensão de leitura de linguagem natural, ficando em primeiro lugar no SQuAD 2.0, GLUE e alta pontuação de desempenho RACE.
No benchmark General Language Understanding Evaluation (GLUE), ALBERT alcança uma pontuação de 89.4, no benchmark Stanford Question Answering Dataset (SQUAD), 92.2, e no benchmark ReAding Comprehension from English Examinations (RACE), 89.4%.
Para o SQUAD 2.0 o desempenho humano médio é 89.452.
O SQuAD2.0 combina as 100,000 perguntas do SQuAD1.1 com mais de 50,000 perguntas novas e sem resposta, escritas de forma adversária por crowdworkers para parecerem semelhantes às que podem ser respondidas. Para ter um bom desempenho no SQuAD2.0, os sistemas devem não apenas responder às perguntas quando possível, mas também determinar quando nenhuma resposta é apoiada pelo parágrafo e se abster de responder.
ALBERT “usa técnicas de redução de parâmetros para diminuir o consumo de memória e aumentar a velocidade de treinamento do BERT,”
“Nossos métodos propostos levam a modelos com escala muito melhor em comparação com o BERT original. Também usamos uma perda auto-supervisionada que se concentra na modelagem da coerência entre frases e mostramos que ela ajuda consistentemente nas tarefas posteriores com entradas de várias frases”, diz o artigo.
As principais empresas de IA têm disputado o primeiro lugar em um concurso. No final de julho, a Facebook AI Research apresentou o RoBERTa, um modelo que alcançou resultados de última geração, e em maio, os pesquisadores de IA da Microsoft apresentaram a Multi-Task Deep Neural Network (MT-DNN), um modelo que alcançou as melhores notas em 7 de 9 benchmarks GLUE.
A tecnologia tem aplicações óbvias para ler a grande quantidade de texto na internet e fornecer respostas coerentes, um benefício óbvio para os motores de busca.
Através da VentureBeat
