Libratus — искусственный интеллект только что победил 4 экспертов в игре в покер

Искусственный интеллект Libratus только что победил четырех мастеров игры в покер благодаря новому методу обучения ИИ вместо нынешних традиционных методов.

Почти три недели Донг Ким сидел в казино Питтсбурга и играл в покер на автомате. Однако Донг Ким не просто обычный игрок в покер, и машина, на которой он играет, не является обычным покерным автоматом, как другие.

Дон Ким , 28 лет, является одним из лучших игроков в покер в мире. Между тем, другой покерный автомат — Libratus, созданный двумя исследователями компьютерных наук из Университета Карнеги-Меллона, представляет собой всего лишь систему искусственного интеллекта, работающую на суперкомпьютере в Питтсбурге . В течение 20 дней подряд четыре мастера покера сражались с Либратусом в безлимитном Техасском Холдеме , особенно сложной форме покера, которая включает в себя стратегии ставок, помогающие игрокам. Игрокам приходится преодолевать десятки карт.

В середине матча Дон Ким начал чувствовать, что покерный автомат Libratus видит его карты. « Я не думаю, что это обман. Я просто думаю, что это очень хорошо », — сказал Дон Ким. Это здорово, на самом деле, Libratus не только победил Донг Кима, но и победил трех других лучших игроков в покер мира - впервые искусственный интеллект смог сделать это.

На протяжении всего конкурса создатели Libratus неохотно рассказывали о том, как работает эта система искусственного интеллекта – почему она настолько успешна, как ее можно напрямую имитировать, воспринимать людей так, как никогда не могла сделать ни одна машина. Однако, согласно данным исследователей, Libratus вышел на уровень большего, чем просто ИИ, а основан на трех различных системах, которые работают вместе.

Обратите внимание, что сегодняшние современные ИИ управляются несколькими технологиями одновременно, а не одной технологией. Глубоким нейронным сетям в последние дни уделяется много внимания, и не зря: « Они поддерживают все: от распознавания изображений до языкового перевода и поиска ключевых продуктов крупнейших мировых технологических компаний. Однако успех искусственных нейронных сетей также важен». привносит глоток свежего воздуха во многие другие методы искусственного интеллекта, помогая компьютерам имитировать или даже превосходить человеческий талант ».

Однако Libratus не использует эту искусственную нейронную сеть. Libratus в первую очередь основан на другой форме ИИ, также известной как « Обучение с подкреплением », чрезвычайно строгом методе проб и ошибок. По сути, покерный автомат Libratus снова и снова играет сам с собой.

Лаборатория Google Deep Mind использовала обучение с подкреплением при создании AlphaGo — системы, которая в начале прошлого года победила мирового игрока Ли Седоля. Однако между этими двумя системами есть важное различие. AlphaGo научилась играть в го, проанализировав 30 миллионов человеческих ходов, а затем сформировала свои навыки, играя против себя. А вот Либратус — наоборот, он учится играть в покер полностью с нуля.

С помощью алгоритма под названием « Минимизация контрфактического сожаления» он начал со случайной игры и, в конце концов, после нескольких месяцев практики с триллионами покерных рук, достиг уровня, который не только бросает вызов лучшим игрокам, но и играет так, как лучшие игроки не могут – играть с более широким диапазоном ставок и рандомизировать эти ставки. Поэтому противникам будет сложнее угадать карты, которые держит Либратус.

« Мы даем ИИ описание игры. Мы не говорим ему, как играть. Затем он разрабатывает стратегию, которая полностью независима от человеческой игры и может сильно отличаться от того, как люди играют в эту игру », — сказал Ноам. Браун, студент магистратуры Университета Карнеги-Меллон (CMU), который создал эту систему искусственного интеллекта вместе со своим профессором Туомасом Сандхольмом.

Однако это только первый этап. Во время матча в Питтсбурге вторая система анализирует статус матча и фокусирует внимание первой системы. С помощью этой второй системы, детали « эндгеймера » в статье Сэндхолма и Брауна, первой системе не нужно проходить через все сценарии, которые она может исследовать. И ему просто нужно проработать несколько из этих сценариев. Особенностью является то, что Libratus не просто учится перед игрой, он продолжает учиться даже во время игры.

Хотя одних этих двух систем более чем достаточно для эффективной игры в покер. Но Донг Ким и другие игроки все же находили закономерности в игре компьютера и использовали их. Вот почему Браун и Сэндхольм создали третью систему. Каждый вечер Браун будет запускать алгоритм, который сможет выявить эти закономерности и устранить их. « Он может выполнить этот расчет за одну ночь, и на следующий день все будет готово », — сказал Браун.

Если вам кажется, что это несправедливо, вам все равно придется это принять, потому что именно так работает ИИ. Однако не только ИИ делает это, но и люди часто могут комбинировать процессы, активно совершенствуя, запуская и совершенствуя ИИ. Короче говоря, Libratus действительно является важной вехой, показывающей нам, как новый тип ИИ может сыграть важную роль во всем: от торговли на Уолл-стрит до кибербезопасности, аукционов и политических переговоров.

« Покер — одна из самых сложных игр для взлома ИИ, потому что вы видите только частичную информацию о состоянии игры. Не существует единого оптимального хода. Вместо этого ИИ придется рандомизировать свои действия, чтобы противники не были уверены, когда он сделает это. обманывает их », — сказал Эндрюс Нг, который поддерживал центральную лабораторию искусственного интеллекта Google и сейчас является главным научным сотрудником Baidu.

Libratus сделал это лучше всего. Он рандомизирует свои ставки до уровня, который находится за пределами понимания даже лучших игроков. А если это не сработает, ночной алгоритм Брауна заполнит пробелы. Финансовый трейдер может работать таким же образом. То же самое происходит и с дипломатом. Итак, Libratus делает сильное заявление: машина может обмануть человека.

Обратитесь к еще нескольким статьям:

• Искусственный интеллект учится создавать еще один искусственный интеллект, заменивший человека в будущем
• Мечта о Hyperloop будет реализована к концу 2017 года в Восточной Европе
• Женщины никогда не уступали мужчинам: вот 4 великих изобретения, изменивших мир

Веселиться!