Исследователи Google позволили ИИ играть в игры, чтобы улучшить обучение с подкреплением

Обучение с подкреплением — подобласть машинного обучения — включает в себя методы обучения ИИ, которые используют «вознаграждения» для направления политики программного обеспечения конкретно к целевым целям. Другими словами, это процесс, в ходе которого ИИ будет пробовать разные действия, узнавать из каждого ответа, приносит ли это действие лучшие результаты или нет, а затем усиливать сработавшие действия, то есть автоматически перерабатывать и модифицировать свои алгоритмы в течение нескольких итераций. дает наилучшие результаты. В последнее время обучение с подкреплением стало использоваться для моделирования воздействия социальных правил, создания моделей искусственного интеллекта с чрезвычайно хорошими игровыми возможностями или программируемых роботов, способных самовосстанавливаться.Восстановление после досадных проблем с программным обеспечением.

• Winnow использует компьютерное зрение, чтобы сократить количество отходов в пищевой промышленности

Хотя метод обучения с подкреплением обладает высокой гибкостью и может применяться во многих различных моделях и целях, он имеет досадный недостаток: он неэффективен. Для обучения модели ИИ с использованием методов обучения с подкреплением требуется множество различных взаимодействий в моделируемой или реальной среде, что намного больше, чем когда человеку необходимо изучить определенную задачу. Чтобы частично преодолеть эту проблему, особенно в области видеоигр, исследователи искусственного интеллекта из Google недавно предложили использовать новый алгоритм под названием Simulated Policy Learning (сокращенно SimPLe), который использует простые модели видеоигр для изучения и улучшения политик качества при выборе действий. методов обучения с подкреплением.

Исследователи описали алгоритм в недавно опубликованной статье под названием «Обучение с подкреплением на основе моделей для Atari», а также в документе, сопровождающем открытый исходный код.

«На высоком уровне идея исследователей при разработке алгоритма SimPLe заключалась в том, чтобы поочередно создавать модель характеристик игры и использовать эту модель для оптимизации политики (с помощью методов безмодельного обучения с подкреплением) в среде игрового моделирования. Основные принципы, лежащие в основе этого алгоритма, хорошо известны и используются во многих последних методах обучения с подкреплением на основе моделей», — поделились ученые команды Google AI Лукаш Кайзер и Думитру Эрхан.

• Полюбуйтесь новым AI-приложением Nvidia: превратите рисунки в стиле MS Paint в художественные «шедевры»

Как объяснили два исследователя, обучение системы искусственного интеллекта игре требует предсказания текстур следующего кадра целевой игры, которые задаются последовательностью кадров и комбинацией команд (например, «слева», «внутри», «справа», « вперед», «назад»). Кроме того, исследователи также показали, что успешная модель может генерировать «траектории», которые можно использовать при обучении программных политик игрового агента, что уменьшит необходимость полагаться на сложные вычислительные последовательности в игре.

Алгоритм SimPLe делает именно это. Для прогнозирования следующего кадра с вознаграждением требуется 4 кадра, а после полного обучения алгоритм генерирует «развертывания» — выборочные последовательности последовательностей действий, наблюдений и результатов — используемые для улучшения политики (Кайзер и Эрхан отмечают, что алгоритм SimPLe использует только развертывания средней длины, чтобы минимизировать ошибку прогнозирования).

В тестах продолжительностью, эквивалентной 2 часам игрового процесса (100 000 взаимодействий), агенты с скорректированной политикой SimPLe достигли максимальных результатов в двух тестовых играх (Pong и Freeway), а также генерировали почти идеальные прогнозы на расстояние до 50 шагов в будущее.

• 91% технологических менеджеров считают, что искусственный интеллект станет основой следующей технологической революции.

Иногда два исследователя также пытались собрать небольшие, но очень важные детали игр, но безуспешно. Кайзер и Эрхан признают, что этот алгоритм все еще не соответствует производительности стандартных методов обучения с подкреплением. Однако SimPLe может быть более чем в два раза эффективнее с точки зрения обучения, и команда надеется, что будущие исследования помогут значительно улучшить производительность алгоритма.

«Основная цель методов обучения с подкреплением на основе моделей — это среды, где взаимодействия оказываются сложными, медленными или требуют человеческой маркировки, например, во многих роботизированных задачах. В такой среде симулятор позволит нам лучше понять среду программ-агентов и, в свою очередь, может привести к новым, лучшим и более быстрым способам выполнения задач.