Googleの超人AIが読解力テストでMicrosoft Researchなどを破る

In OpenReview.netで水曜日に発表された論文、Google AIとシカゴの豊田工業大学は、新しいAIであるALBERTが、SQuAD 2.0、GLUE、および高いRACEパフォーマンススコアで第XNUMX位を獲得し、いくつかの自然言語読解テストでトップの座を獲得したことを発表しました。

一般言語理解評価（GLUE）ベンチマークでは、ALBERTは89.4のスコアを達成し、スタンフォード質問応答データセットベンチマーク（SQUAD）では92.2、英語試験からの読解（RACE）ベンチマークでは89.4％を達成しています。

SQUAD 2.0の場合、人間の平均パフォーマンスは89.452です。

SQuAD2.0は、SQuAD100,000の1.1の質問と、クラウドワーカーによって敵対的に書かれた50,000を超える新しい、回答できない質問を組み合わせて、回答可能な質問に似ています。 SQuAD2.0でうまく機能するために、システムは可能な場合に質問に答えるだけでなく、段落でサポートされている答えがない場合を判断し、答えを控える必要があります。

ALBERTは、「パラメータ削減技術を使用して、メモリ消費量を削減し、BERTのトレーニング速度を向上させます」

「私たちが提案した方法は、元のBERTと比較してはるかに優れたスケーリングのモデルにつながります。 また、センテンス間のコヒーレンスのモデリングに焦点を当てた自己監視損失を使用し、それがマルチセンテンス入力を使用したダウンストリームタスクに一貫して役立つことを示しています」と論文は述べています。

トップAI企業はコンテストのトップスロットを争っています。 7月下旬にFacebookAI Researchは最先端の結果を達成したモデルであるRoBERTaを導入し、9月にMicrosoftAI研究者はでトップマークを達成したモデルであるMulti-TaskDeep Neural Network（MT-DNN）を導入しましたXNUMXつのGLUEベンチマークのうちXNUMXつ。

このテクノロジーには、インターネット上の膨大な量のテキストを読み取り、一貫した回答を提供するための明らかなアプリケーションがあります。これは、検索エンジンにとって明らかな利点です。

ビア VentureBeatの