DeepMind の新しい AI は、事前のゲームプレイ トレーニングなしで複雑なゲームをマスターできる

DeepMind の人工知能プラットフォームは、チェス、将棋、囲碁などの複雑で「頭を使う」ゲームを見事に習得しているため、ここ数年で世界中で有名になりました。時間が経つにつれて、彼らは徐々に「進化」し、高度な機械学習技術で生身のゲーマーを打ち負かしました。

2016 年、DeepMind は優れたゲーム機能を備えた AI システムである AlphaGo を導入しました。1 年後、同社は AlphaGo Zero の発売を続けました。これは、AlphaGo の完全な後継版であり、人間の対局を観察するだけで囲碁の打ち方を学び、自分自身と対局することで碁をマスターすることができます。さらに、AlphaZero は、単一のアルゴリズムで囲碁、チェス、将棋を同時にプレイできるさらに優れた AI システムです。

ただし、上記の AI アルゴリズムの共通点は、特定のゲームをマスターするにはゲーム ルールだけでなくゲームプレイについても詳細なトレーニングを受ける必要があるということです。これは複雑で比較的時間のかかるプロセスです。

この問題を解決するために、DeepMind は MuZero と呼ばれる非常に優れた新しい AI システムを立ち上げました。この AI は、上記のゲームのルール セットについて事前にトレーニングする必要がなく、囲碁、チェス、将棋、および一連の Atari ゲームを流暢にプレイすることができます。すべてを独自に学習し、これらのゲームを DeepMind の以前のアルゴリズムと同等かそれ以上にプレイできるようになります。

MuZero は多くの複雑なゲームを流暢にプレイできます

事前のトレーニングなしでゲーム内のあらゆる状況に適応できるアルゴリズムを作成し、同時にそのゲームをマスターするための計画を立てる方法を理解することは、開発者の AI 研究者が長い間解決策を探してきた大きな課題です。DeepMind は、「先読み検索」と呼ばれる方法を使用してこれを試みました。この技術を使用すると、AI アルゴリズムが予想される状況や状態を考慮して行動計画を作成します。

わかりやすくするために、チェスのような戦略的なゲームを考えてみましょう。決断や行動を起こす前に、相手がどのように反応するかを考慮し、それに応じて計画を立てる必要があります。同様に、AI も先読み検索手法を使用して、事前にいくつかの動きを計画しようとします。次に、勝利につながる可能性が最も高い手を選択して優先順位を付けます。

このアプローチの問題は、ほとんどの現実世界の状況 (一部のゲームでも) に、その動作を制御する単純なルールが含まれていないことです。そこで研究者らは、特定のゲームやシナリオ環境が結果にどのような影響を与えるかを AI にモデル化させて問題を解決しました。そして、得られた知識や情報を活用して計画を立てます。この方法の限界は、あらゆる側面をモデル化することがほぼ不可能であることです。

したがって、MuZero はすべてをモデル化するのではなく、人間と同様に、意思決定を行うための重要な要素のみを考慮しようとします。たとえば、窓の外を見て、遠くに黒い雲ができているのを見ると、ほとんどの人は、雨や雷雨、または雨に遭わないようにどのように服を着るべきかについて考えてしまうでしょう。外に出たら濡れてしまう…などと考える代わりに。結露や気圧などの問題について。それは本能的な選択的思考の一形態です。MuZeroの「考え方」も同じです。

意思決定を行う際、MuZero は 3 つの異なる要素を考慮する必要があります。前回の決定の結果、現在の状況、そして最終的に次の決定を行うための最善の行動方針が検討されます。この一見単純なアプローチにより、MuZero は DeepMind がこれまでに作成した最も効果的なアルゴリズムとなっています。

MuZero は最も効率的なアルゴリズムの 1 つです

内部テストでは、MuZero がチェス、囲碁、将棋において AlphaZero と同様のパフォーマンスを発揮することが結果からわかりました。そして、これは、Agent57 を含む、Atari ゲームで以前にリリースされたすべてのアルゴリズムよりも優れています。さらに、MuZero がアクションを検討する時間が長くなるほど、アルゴリズムの効率が向上します。

MuZero の強力な自動学習機能は、ルールが入り込む余地のないロボット工学など、今日の「注目の」分野の多くにおける複雑な問題の解決にいつか役立つ可能性があります。