Новый ИИ DeepMind может справиться со сложными играми без предварительной подготовки к игровому процессу

Платформы искусственного интеллекта DeepMind за последние несколько лет прославились во всем мире благодаря превосходному мастерству в сложных, «мозгоемких» играх, таких как шахматы, сёги и го. Со временем они постепенно «эволюционировали», побеждая наших геймеров из плоти и крови с помощью передовых методов машинного обучения.

В 2016 году DeepMind представила AlphaGo — систему искусственного интеллекта с отличными игровыми возможностями. Год спустя компания продолжила выпуск AlphaGo Zero. Это идеальный преемник AlphaGo, обладающий возможностью научиться играть в Го, просто наблюдая за играми между людьми, а затем овладеть игрой, играя против себя. Еще есть AlphaZero, еще более совершенная система искусственного интеллекта, позволяющая одновременно играть в го, шахматы и сёги, используя всего лишь один алгоритм.

Однако общей чертой вышеупомянутых алгоритмов ИИ является то, что все они должны пройти углубленное обучение игровому процессу, а также правилам игры, чтобы иметь возможность освоить определенную игру. Это сложный и относительно трудоемкий процесс.

Чтобы решить эту проблему, DeepMind только что запустил чрезвычайно совершенную новую систему искусственного интеллекта под названием MuZero. Этот ИИ способен свободно играть в го, шахматы, сёги и ряд игр Atari без необходимости предварительного обучения работе с наборами правил вышеупомянутых игр. Он научится всему сам и сможет играть в эти игры так же или даже лучше, чем любой из предыдущих алгоритмов DeepMind.

MuZero способен свободно играть во многие сложные игры.

Создание алгоритма, который может адаптироваться к любой ситуации в игре без предварительного обучения, но при этом иметь возможность понять, как спланировать освоение этой игры, — это действительно большая проблема, решение которой исследователи ИИ-разработчиков искали уже долгое время. DeepMind попыталась сделать это, используя метод под названием «Lookahead Search». С помощью этого метода алгоритм ИИ будет учитывать ожидаемые ситуации и состояния для создания плана действий.

Чтобы было легче понять, представьте себе такую ​​стратегическую игру, как шахматы. Прежде чем принять решение или сделать ход, вам необходимо подумать, как отреагирует ваш оппонент, и спланировать действия соответствующим образом. Аналогично, ИИ также использует метод Lookahead Search, чтобы попытаться спланировать некоторые действия заранее. Затем выберите и расставьте приоритеты ходов, которые с наибольшей вероятностью приведут к победе.

Проблема с этим подходом заключается в том, что большинство реальных ситуаций (и даже некоторых игр) не содержат простого набора правил, определяющих их действие. Поэтому исследователи решили проблему, заставив ИИ попытаться смоделировать, как конкретная игровая или сценарная среда повлияет на результат. Затем используйте полученные знания и информацию для составления плана. Ограничением этого метода является то, что моделирование каждого аспекта практически невозможно.

Поэтому вместо того, чтобы моделировать все, MuZero будет пытаться только учитывать важные факторы для принятия решений, как и люди. Например, когда мы смотрим в окно и видим, как вдалеке формируются темные тучи, большинство из нас будут думать о дожде, грозе или о том, как нам следует одеться, чтобы нас не поймали: намокнуть, если выйти на улицу… Вместо того, чтобы думать о таких проблемах, как конденсация и давление воздуха. Это форма инстинктивного избирательного мышления. Способ «думания» MuZero такой же.

Когда дело доходит до принятия решения, MuZero должен принять во внимание три разных фактора. Он будет учитывать результаты предыдущего решения, текущую ситуацию и, наконец, лучший вариант действий для принятия следующего решения. Этот, казалось бы, простой подход делает MuZero наиболее эффективным алгоритмом, созданным DeepMind на сегодняшний день.

MuZero — один из самых эффективных алгоритмов

Результаты внутренних тестов показали, что MuZero работает так же, как AlphaZero, в шахматах, го и сёги. И это лучше, чем все ранее выпущенные алгоритмы, включая Agent57, в играх Atari. Кроме того, чем больше времени MuZero уделит обдумыванию действия, тем эффективнее будет алгоритм.

Мощные возможности автоматического обучения MuZero однажды смогут помочь решить сложные проблемы во многих сегодняшних «горячих» областях, таких как робототехника, где нет места правилам.