Googleの新しいAIモデルは本全体を読んで理解できる

今日の言語処理における人工知能(AI)モデルの最大の課題の 1 つは、特定の各セグメントの文脈とコンテキストを理解し、それによって段落全体の内容、またはより広義には作品全体の正確な意味を理解することです。 - 今日のように個々の単語の意味を単に理解するのではなく。

この問題を解決するために、Google は Reformer と呼ばれる新しい機械学習モデルを導入しました。これは、約 16 GB のストレージを使用するだけで、小説に相当する 100 万行の長さの作品の内容とコンテキストを理解できます。Reformer は、段落内の単語を相互に比較して単語間の関係を理解するという原理に基づいて動作する、昔ながらのニューラル ネットワークである Transformer の欠点を克服するために開発されました。

ただし、Transformer は組み合わせペアリング方式で動作するため、数千単語を超えるテキストを処理する必要がある場合、多くのデータ スペースを占有します。この弱点により、Transformer を使用して長い記事や書籍を処理することは非常に不可能になります。

Google は、長いドキュメントを処理する機能と古いモデルのメモリ消費量という、上記の主な問題の両方を解決するために Reformer を開発しました。

最初の問題を解決するために、Google の新しいモデルはローカリティ依存ハッシュ (LSH) と呼ばれる方法を使用します。つまり、以前のようにすべての単語を一緒に比較する代わりに、新しいモデルはハッシュ関数を使用して類似した単語をグループに結合し、同じグループ内またはグループ内の単語を比較します。同時に、大量のテキストを処理できる機能も提供します。

メモリ消費の問題を解決するために、研究者たちは Reversible Residual Network (RevNet) と呼ばれる技術を使用しています。RevNet は、ネットワークがより深く、より広くなるにつれてパフォーマンスを向上させるテクノロジーである Deep Residual Networks (ResNets) から開発されました。RevNets は独自のレイヤーを備えており、各レイヤーの出力データを再構築して別のレイヤーで使用できます。したがって、ほとんどの層の出力データは、バックプロパゲーション中にメモリに保存する必要はありません。

このモデルの有効性をテストするために、Google は Reformer にいくつかの小さなトリミングされた画像を提供し、そこからフルフレームの写真を作成しました。

Googleのエンジニアらは、この新しいモデルは書籍全体を高精度で簡単に処理できるため、大規模なテキスト処理の可能性が開かれると述べている。