Des chercheurs de Google laissent lIA jouer à des jeux pour améliorer lapprentissage par renforcement

L'apprentissage par renforcement - un sous-domaine de l'apprentissage automatique - implique des techniques de formation en IA qui utilisent des « récompenses » pour orienter la politique logicielle vers des objectifs spécifiques. En d’autres termes, il s’agit du processus par lequel l’IA va essayer différentes actions, apprendre de chaque réponse si cette action apporte de meilleurs résultats ou non, puis renforcer les actions qui ont fonctionné, c’est-à-dire retravailler et modifier automatiquement ses algorithmes sur plusieurs itérations. donne les meilleurs résultats. Ces derniers temps, l'apprentissage par renforcement a été exploité pour modéliser l'impact des règles sociales, pour créer des modèles d'IA dotés de très bonnes capacités de jeu ou des robots programmables capables d'auto-guérison et de récupération après des problèmes logiciels ennuyeux.

• Winnow utilise la vision par ordinateur pour réduire les déchets dans la transformation des aliments

Bien qu’elle possède une grande flexibilité et puisse être appliquée dans de nombreux modèles et objectifs différents, la technique d’apprentissage par renforcement présente un regrettable inconvénient : elle est inefficace. Entraîner un modèle d'IA à l'aide de techniques d'apprentissage par renforcement nécessite de nombreuses interactions différentes dans un environnement simulé ou réel, ce qui est bien plus que lorsqu'un humain a besoin d'apprendre une certaine tâche. Pour surmonter en partie ce problème, notamment dans le domaine des jeux vidéo, des chercheurs en intelligence artificielle de Google ont récemment proposé d'utiliser un nouvel algorithme appelé Simulated Policy Learning (en abrégé SimPLe), qui utilise des modèles de jeux vidéo simples pour apprendre et améliorer les politiques de qualité dans la sélection des actions. des techniques d’apprentissage par renforcement.

Les chercheurs ont décrit l’algorithme dans un article récemment publié intitulé « Model-Based Reinforcement Learning for Atari », ainsi que dans un document qui accompagne le code open source.

« À un niveau élevé, l'idée des chercheurs en développant l'algorithme SimPLe était d'alterner entre l'établissement d'un modèle des caractéristiques du jeu et l'utilisation de ce modèle pour optimiser une politique (avec des techniques d'apprentissage par renforcement sans modèle) dans un environnement de simulation de jeu. Les principes de base derrière cet algorithme sont bien établis et utilisés dans de nombreuses méthodes récentes d’apprentissage par renforcement basées sur des modèles », ont partagé les scientifiques de l’équipe Google AI Łukasz Kaiser et Dumitru Erhan.

• Admirez la nouvelle application d'IA de Nvidia : transformez les gribouillages de style MS Paint en "chefs-d'œuvre" artistiques

Comme l'expliquent les deux chercheurs, entraîner un système d'IA à jouer à un jeu nécessite de prédire les prochaines textures d'images du jeu cible, qui sont données par une séquence d'images et de combinaisons de commandes (par exemple « gauche », « intérieur », « droite », « en avant », « en arrière »). En outre, les chercheurs ont également montré qu’un modèle réussi peut générer des « trajectoires » pouvant être utilisées dans la formation des politiques du programme des agents de jeu, ce qui réduira le besoin de s’appuyer sur des séquences informatiques complexes dans le jeu.

L'algorithme SimPLe fait exactement cela. Il faut 4 images en entrée pour prédire la prochaine image avec une récompense, et une fois entièrement entraîné, l'algorithme génère des « déploiements » - des exemples de séquences d'actions, d'observations et de résultats - utilisés pour améliorer la politique (Kaiser et Erhan notent que l'algorithme SimPLe utilise uniquement des déploiements de longueur moyenne pour minimiser les erreurs de prédiction).

Lors de tests d'une durée équivalente à 2 heures de jeu (100 000 interactions), les agents ayant appliqué les politiques ajustées de SimPLe ont obtenu des scores maximum dans deux jeux de test (Pong et Freeway), tout en générant également des prédictions presque parfaites jusqu'à 50 étapes dans le futur.

• 91 % des responsables technologiques pensent que l'IA sera au cœur de la prochaine révolution technologique

Parfois, les deux chercheurs ont également tenté de collecter des détails mineurs mais très pertinents dans les jeux, ce qui a abouti à un échec. Kaiser et Erhan admettent que cet algorithme n'atteint toujours pas vraiment les performances des méthodes standards d'apprentissage par renforcement. Cependant, SimPLe peut être plus de deux fois plus efficace en termes de formation, et l'équipe espère que les études futures contribueront à améliorer considérablement les performances de l'algorithme.

« La cible principale des méthodes d’apprentissage par renforcement basées sur des modèles se situe dans les environnements où les interactions s’avèrent complexes, lentes ou nécessitent un étiquetage humain, comme dans de nombreuses tâches robotiques par exemple. Dans un tel environnement, un simulateur nous permettrait de mieux comprendre l’environnement des programmes d’agents, et pourrait à son tour conduire à de nouvelles façons de faire, meilleures et plus rapides.