バイドゥはAIに人間の言語を理解するよう教えたことでマイクロソフトやグーグルを破った

中国の検索大手バイドゥは、世界をリードするAIモデルの自然言語処理競争で、米国のテクノロジー大手2社であるマイクロソフトとグーグルを難なく破った。

一般言語理解評価 (GLUE) は、AI ベースの自然言語理解システムのトレーニング、評価、分析に使用される標準です。人工知能に基づく自然言語処理モデルを開発している組織は、GLUE ベンチマーク スケールを使用してモデルを評価できます。

最近まで、世界的な GLUE ランキングでは依然として Microsoft の MT-DNN-SMART モデルがトップの名前であり、Google の T3 モデルがそれに続きました。しかし、最近の自然言語処理コンテストでは、Baidu の ERNIE (Enhanced Representation through knowledge IntEgration) モデルが 90.1 という記録的なスコアで MT-DNN-SMART と T3 の両方を破ったため、このランキングには大きな波乱が生じました。

当初、Baidu のモデルは中国語を理解するために開発されましたが、研究者たちはすぐに、このモデルが英語の理解に優れていることに気づきました。Baidu の ERNIE トレーニング方法は、BERT と呼ばれる Google の「古い」言語処理モデル トレーニング ツールに大きく影響を受けています。したがって、各トレーニング セッションでは各文文字列内の単語の 15% が隠されます。AI タスクは、コンテキストに基づいて隠された単語をできるだけ正確に予測しようとします。Baidu 研究チームは、小説「ハリー・ポッター」シリーズから引用した例とともに、Github ページでこのテクニックを説明しました。その結果、ERNIE は言葉や実体の暗黙知を分析することでハリー・ポッターと JK ローリングの関係を推測し、ハリー・ポッターは JK ローリングによって書かれた一連の小説であると結論付けることができました。

「言語理解は依然として困難な課題ですが、ERNIE プロジェクトの結果は、マルチタスクで継続的にトレーニングされた言語処理モデルが前進する道であることを示しました。NLP 研究にとって有望です」と Baidu 研究チームはコメントしました。

現在、Baidu では ERNIE モデルの実務への適用を推進しています。例: 現在、Baidu は検索エンジンの自動質問応答機能に ERNIE モデルを使用しており、その結果、検索結果に対するユーザーの満足度が 16% 向上しました。