L'IA surhumaine de Google détrône Microsoft Research, en outre, dans un test de compréhension en lecture
2 minute. lis
Publié le
Partagez cet article
Améliorer ce guide
Lisez notre page de divulgation pour savoir comment vous pouvez aider MSPoweruser à soutenir l'équipe éditoriale En savoir plus
In un article publié mercredi sur OpenReview.net, Google AI et Toyota Technological Institute of Chicago ont annoncé que leur nouvelle IA, ALBERT, a pris la première place dans plusieurs tests de compréhension de lecture en langage naturel, prenant la première place dans SQuAD 2.0, GLUE et le score de performance élevé RACE.
Sur le benchmark General Language Understanding Evaluation (GLUE), ALBERT obtient un score de 89.4, sur le benchmark Stanford Question Answering Dataset (SQUAD), 92.2, et sur le benchmark ReAding Comprehension from English Examinations (RACE), 89.4%.
Pour SQUAD 2.0, la performance humaine moyenne est de 89.452.
SQuAD2.0 combine les 100,000 1.1 questions de SQuAD50,000 avec plus de 2.0 XNUMX nouvelles questions sans réponse écrites de manière contradictoire par des crowdworkers pour ressembler à celles auxquelles il est possible de répondre. Pour bien faire sur SQuADXNUMX, les systèmes doivent non seulement répondre aux questions lorsque cela est possible, mais aussi déterminer quand aucune réponse n'est prise en charge par le paragraphe et s'abstenir de répondre.
ALBERT "utilise des techniques de réduction des paramètres pour réduire la consommation de mémoire et augmenter la vitesse d'entraînement du BERT",
"Nos méthodes proposées conduisent à des modèles qui évoluent beaucoup mieux par rapport au BERT d'origine. Nous utilisons également une perte auto-supervisée qui se concentre sur la modélisation de la cohérence inter-phrases, et montrons qu'elle aide systématiquement les tâches en aval avec des entrées multi-phrases », lit-on dans l'article.
Les meilleures entreprises d'IA se disputent la première place dans un concours. Fin juillet, Facebook AI Research a présenté RoBERTa, un modèle qui a obtenu des résultats de pointe, et en mai, les chercheurs de Microsoft AI ont présenté Multi-Task Deep Neural Network (MT-DNN), un modèle qui a obtenu les meilleures notes dans 7 des 9 références GLUE.
La technologie a des applications évidentes pour lire la quantité volumineuse de texte sur Internet et fournir des réponses cohérentes, un avantage évident pour les moteurs de recherche.
Via VentureBeat
