Microsoft DeBERTa supera humanos insignificantes no teste de compreensão de leitura SuperGlue

Recentemente, houve um grande progresso no treinamento de redes com milhões de parâmetros. A Microsoft atualizou recentemente o modelo DeBERTa (BERT aprimorado por decodificação com atenção desembaraçada) treinando uma versão maior que consiste em 48 camadas Transformer com 1.5 bilhão de parâmetros. O aumento significativo de desempenho faz com que o único modelo DeBERTa supere o desempenho humano no processamento e compreensão da linguagem SuperGLUE pela primeira vez em termos de pontuação macro média (89.9 versus 89.8), superando a linha de base humana por uma margem decente (90.3 versus 89.8) . O benchmark SuperGLUE consiste em uma ampla gama de tarefas de compreensão de linguagem natural, incluindo resposta a perguntas, inferência de linguagem natural. O modelo também está no topo do ranking de benchmark GLUE com uma pontuação média macro de 90.8.

O DeBERTa melhora os PLMs de última geração anteriores (por exemplo, BERT, RoBERTa, UniLM) usando três novas técnicas: um mecanismo de atenção desembaraçado, um decodificador de máscara aprimorado e um método de treinamento adversário virtual para ajuste fino.

Comparado ao modelo T5 do Google, que consiste em 11 bilhões de parâmetros, o DeBERTa de 1.5 bilhão de parâmetros é muito mais eficiente em termos de energia para treinar e manter, e é mais fácil de compactar e implantar em aplicativos de várias configurações.

DeBERTa superando o desempenho humano no SuperGLUE marca um marco importante em direção à IA geral. Apesar de seus resultados promissores no SuperGLUE, o modelo não está de forma alguma atingindo a inteligência em nível humano do NLU. Os humanos são extremamente bons em alavancar o conhecimento aprendido em diferentes tarefas para resolver uma nova tarefa com pouca ou nenhuma demonstração específica de tarefa.

A Microsoft integrará a tecnologia na próxima versão do modelo de representação de linguagem natural Microsoft Turing, usado em locais como Bing, Office, Dynamics e Azure Cognitive Services, capacitando uma ampla gama de cenários envolvendo interações homem-máquina e homem-humano por meio de linguagem natural (como chatbot, recomendação, resposta a perguntas, pesquisa, assistência pessoal, automação de suporte ao cliente, geração de conteúdo e outros). Além disso, a Microsoft lançará o modelo DeBERTa de 1.5 bilhão de parâmetros e o código-fonte para o público.

Leia todos os detalhes na Microsoft SUA PARTICIPAÇÃO FAZ A DIFERENÇA.