Искусственный интеллект Google DeepMind стал лучшим «геймером» StarCraft 2 в мире

Платформы искусственного интеллекта DeepMind за последние несколько лет прославились во всем мире благодаря превосходному мастерству в сложных, «мозгоемких» играх, таких как шахматы, сёги и го. Со временем они постепенно «эволюционировали», побеждая наших геймеров из плоти и крови с помощью передовых методов машинного обучения.

Ранее в этом году компания DeepMind представила новую версию модели искусственного интеллекта, созданную специально для стратегической игры в реальном времени StarCraft 2, под названием AlphaStar. AlphaStar также очень хорошо унаследовала традиции своих старших игроков, что заставляет людей стыдиться своих ошеломляющих побед над многими лучшими игроками в StarCraft 2 в настоящее время.

После почти 10 месяцев «совершенствования» AlphaStar стал буквально лучшим «геймером» StarCraft 2 в мире! В частности, в среду, 30 октября, компания DeepMind опубликовала в журнале Nature новое исследование об AlphaStar, в котором подробно описывается, как далеко продвинулась эта модель ИИ в мире StarCraft 2. получил рейтинг гроссмейстера, что означает, что эта модель ИИ может победить 99,8% всех игроков StarCraft 2 по всему миру.

Вопрос здесь в том, почему исследователи создают модели ИИ для нишевой видеоигры и что эта модель ИИ может научить нас об искусственном интеллекте и технологиях машинного обучения?

Если вы не знаете, StarCraft 2 — это стратегическая игра в реальном времени, в которой игроки управляют одной из трех команд (или «рас», на игровом языке). Каждая раса обладает уникальными характеристиками, и игроку предстоит управлять армией из сотен юнитов на большой карте. Управляя ресурсами для создания военных подразделений, игрокам придется одновременно атаковать врагов и защищать свою базу. Благодаря такому игровому процессу существует бесчисленное множество тактик и стратегий, от простых до сложных, которые игроки могут применять с конечной целью победы.

Сложность и глубина игры делают ее серьезной проблемой для ИИ. В отличие от шахмат или го, в мире StarCraft II игроки не могут видеть, что делают их противники. Кроме того, хотя шахматы или Го позволяют вам сделать паузу и подумать о стратегии, StarCraft II — это игра «в реальном времени», поэтому, как только игра начинается, значение имеет только победа или поражение. Часы можно остановить.

Компания DeepMind провела для AlphaStar довольно простую схему обучения. Во-первых, компания просмотрела почти миллион повторов выступлений лучших игроков, чтобы изучить стратегии и найти способы подражать им. Затем AlphaStar «соревновалась» с другой моделью ИИ от DeepMind, чтобы она могла сделать вывод, какая стратегия принесла наиболее оптимальные результаты в методике под названием «обучение с подкреплением» (reinforcement Learning). Этот процесс тренирует ИИ, показывая ему, что выигрывать — это «хорошо», а проигрывать — «плохо».

На самом деле AlphaStar также обладает некоторыми преимуществами перед людьми. Например, для нормального человека существует множество объективных факторов, которые могут ограничивать мыслительные способности мозга и скорость реакции на каждую ситуацию. Честно говоря, команда DeepMind намеренно препятствовала работе AlphaStar, задерживая время вычислений, задержку и ограничивая количество действий, которые он мог выполнить в минуту. Однако AlphaStar по-прежнему умеет все преодолевать и выступать превосходно.

«Геймплей AlphaStar показался мне чрезвычайно впечатляющим», — заявил в своем заявлении Дарио «TLO» Вюнш, немецкий эксперт по StarCraft II. «Система очень хорошо умеет оценивать свое стратегическое положение и точно знает, когда атаковать противника или отпустить его».

Тот факт, что машины могут полностью победить людей в сложной видеоигре, может звучать пугающе, как сценарий конца света, когда роботы вторгаются на землю, но на самом деле команда DeepMind разрабатывает модели искусственного интеллекта, такие как AlphaStar, для улучшения других реальных систем.

Для исследователей освоение сложной стратегической игры в реальном времени, такой как StarCraft II, является одним из первых шагов на пути к созданию лучшего и более безопасного ИИ для приложений, которые могут изменить человечество, таких как здравоохранение, автономные транспортные средства и робототехника.