Libratus - 人工知能がポーカー ゲームで 4 人の専門家を破った

人工知能Libratus は、現在の従来の技術ではなく、新しいAIトレーニング方法のおかげで、ポーカー ゲームで4 人のマスターを破りました。

ドン・キムさんは3週間近くピッツバーグのカジノに座り、マシンでポーカーをプレイしていた。しかし、ドン キムは単なる普通のポーカー プレイヤーではなく、彼がプレイしているマシンも他のプレイヤーのような普通のポーカー マシンではありません。

28 歳のDong Kim は、世界最高のポーカー プレーヤーの 1 人です。一方、カーネギー メロン大学の 2 人のコンピューター サイエンス研究者によって作成されたもう 1 つのポーカー マシン、Libratus は、ピッツバーグのスーパーコンピューター上で実行される単なる人工知能システムです。20 日間連続で、4 人のポーカー マスターがノーリミット テキサス ホールデムでリブラトゥスと戦いました。テキサス ホールデムは、プレイヤーを支援するための賭け戦略を含む特に複雑な形式のポーカーです。プレイヤーは数十枚のカードを克服する必要があります。

試合の途中で、Dong Kim は Libratus ポーカー マシンに自分のカードが見えているように感じ始めました。「不正行為だとは思わない。ただ、とても良いことだと思う」とドン・キムは語った。それは素晴らしいことです。実際、Libratus は Dong Kim を破っただけでなく、他の 3 人の世界トップ ポーカー プレーヤーにも勝利しました。これは人工知能が初めて達成したことです。

コンテストを通じて、Libratus の作成者たちは、この人工知能システムがどのように機能するのか、どのように成功しているのか、どのようにして直接模倣できるのかなど、これまでの機械では不可能な方法で人間を認識する方法を共有することに消極的でした。しかし、研究者らが明らかにしたところによれば、Libratus は単なる AI を超えたレベルに達しており、連携して動作する 3 つの異なるシステムに基づいています。

今日の最新の AI は、1 つのテクノロジーではなく、複数のテクノロジーによって同時に動作することに注意してください。ディープ ニューラルネットワークは、ここ数日で多くの注目を集めていますが、それには十分な理由があります。「ディープニューラル ネットワークは、画像認識から言語翻訳、検索に至るまで、あらゆるものに力を与えています。世界最大のテクノロジー企業の主要製品を見つけます。しかし、人工ニューラル ネットワークの成功も同様です」これは他の多くの AI 技術に新風をもたらし、コンピューターが人間の才能を模倣したり、人間の才能を超えたりするのに役立ちます。」

ただし、Libratus はこの人工ニューラル ネットワークを使用しません。Libratus は主に、「強化学習」としても知られる別の形式の AI、つまり非常に厳密な試行錯誤の方法に基づいています。基本的に、Libratus ポーカー マシンはそれ自体と何度もゲームをプレイします。

Google の Deep Mind Lab は、昨年初めに世界棋士イ・セドルを破ったシステムである AlphaGo の構築に強化学習を使用しました。ただし、これら 2 つのシステムには重要な違いがあります。AlphaGo は、人間の 3,000 万手を分析することで囲碁の打ち方を学び、その後、自分自身と対戦してスキルを形成しました。しかし、Libratus はその逆で、ポーカーのプレイを完全にゼロから学びます。

Counterfactual Regret Minimizationと呼ばれるアルゴリズムを通じて、ランダムにプレイすることから始まり、何兆ものポーカー ハンドを使った数か月の練習を経て、最終的には最高のプレイヤーに挑戦するだけでなく、最高のプレイヤーができない方法でプレイするレベルに到達しました。より幅広い賭けを行い、これらの賭けをランダム化します。したがって、対戦相手はLibratusが持っているカードを推測するのがより困難になります。

「私たちはAIにゲームの説明を与えます。私たちはAIに遊び方を教えません。その後、AIは人間のプレイから完全に独立した戦略を開発し、人間がこのゲームをプレイする方法とは大きく異なる可能性があります」とノーム氏は語った。ブラウン氏はカーネギー メロン大学 - CMU の修士課程の学生で、教授の Tuomas Sandholm 氏とともにこの AI システムを作成しました。

ただし、それは最初の段階にすぎません。ピッツバーグでの試合中、2 番目のシステムが試合のステータスを分析し、1 番目のシステムの注目に焦点を当てます。この 2 番目のシステム (サンドホルムとブラウンの論文の「エンドゲーマー」の詳細) の助けを借りて、最初のシステムは探索できるすべてのシナリオを実行する必要がありません。必要なのは、これらのシナリオをいくつか実行するだけです。特別なのは、Libratus がゲーム前に学習するだけでなく、プレイ中も学習し続けることです。

これら 2 つのシステムだけでも、ポーカーを効果的にプレイするには十分以上です。しかし、ドン・キムと他の選手たちは依然としてコンピューターのプレーのパターンを発見し、それを悪用した。だからこそ、ブラウンとサンドホルムは 3 番目のシステムを作成しました。ブラウン氏は毎晩、それらのパターンを特定して排除できるアルゴリズムを実行する。「この計算は一晩で実行でき、翌日にはすべての準備が整います」とブラウン氏は語った。

これが不公平だと感じる場合でも、それを受け入れる必要があります。それが AI の仕組みだからです。ただし、これを行うのは AI だけではなく、人間も多くの場合プロセスを組み合わせて、AI を積極的に改善、実行、強化することができます。つまり、Libratus はまさにマイルストーンであり、ウォール街の取引からサイバーセキュリティ、オークション、政治交渉に至るまで、あらゆる分野で新しいタイプの AI がどのように重要な役割を果たすことができるかを示しています。

「ポーカーは、AI が侵入するのが最も難しいゲームの 1 つです。ゲームの状態について部分的な情報しか表示されないためです。最適な手は 1 つだけありません。代わりに、AI は、敵がいつ攻撃するかを不確実にするために、自分の行動をランダム化する必要があります。」彼らを欺いている」とグーグルの中央AI研究所を支援し、現在は百度の主任研究員を務めるアンドリュース・ン氏は語った。

Libratus はこれを最善の方法で実現しました。最高のプレイヤーですら考えられないレベルまで賭けをランダム化します。それがうまくいかない場合は、ブラウンの徹夜アルゴリズムがそのギャップを埋めてくれます。金融トレーダーも同じように働くことができます。外交官でも同じことが起こります。そこでLibratusは、「機械は人間をだますことができる」と強く主張している。

さらにいくつかの記事を参照してください。

• 人工知能は、将来人間に代わる別の人工知能を作成する方法を学習します
• ハイパーループの夢は2017年末までに東ヨーロッパで完成する予定
• 女性が男性よりも劣ったことはありません。世界を変えた 4 つの偉大な発明をご紹介します

楽しんでください！