La nouvelle IA de DeepMind peut maîtriser des jeux complexes sans formation préalable au gameplay

Les plateformes d'intelligence artificielle de DeepMind sont devenues célèbres dans le monde entier ces dernières années grâce à leur excellente maîtrise de jeux complexes et "à forte intensité cérébrale" comme les échecs et le shogi et le Go. Au fil du temps, ils ont progressivement « évolué », battant nos joueurs en chair et en os grâce à des techniques avancées d’apprentissage automatique.

En 2016, DeepMind a présenté AlphaGo, un système d'IA doté d'excellentes capacités de jeu. Un an plus tard, la société continue de lancer AlphaGo Zero. C'est le successeur idéal d'AlphaGo, possédant la capacité d'apprendre à jouer au Go simplement en observant des matchs humains, puis de maîtriser le jeu en jouant contre vous-même. Ensuite, il y a AlphaZero, un système d’IA encore plus supérieur avec la possibilité de jouer simultanément au Go, aux échecs et au shogi avec un seul algorithme.

Cependant, le point commun des algorithmes d’IA ci-dessus est qu’ils doivent tous suivre une formation approfondie sur le gameplay ainsi que sur les règles du jeu pour pouvoir maîtriser un certain jeu. Il s’agit d’un processus compliqué et relativement long.

Pour résoudre le problème, DeepMind vient de lancer un nouveau système d'IA extrêmement supérieur appelé MuZero. Cette IA est capable de jouer couramment au Go, aux échecs, au shogi et à un ensemble de jeux Atari sans avoir à être préalablement formé aux règles des jeux ci-dessus. Il apprendra tout seul et pourra ensuite jouer à ces jeux aussi bien, voire mieux, que n'importe lequel des algorithmes précédents de DeepMind.

MuZero est capable de jouer couramment à de nombreux jeux complexes

Créer un algorithme capable de s'adapter à chaque situation du jeu sans formation préalable, tout en étant capable de comprendre comment planifier la maîtrise de ce jeu est vraiment un grand défi pour lequel les développeurs et les chercheurs en IA recherchent une solution depuis longtemps. DeepMind a essayé de le faire en utilisant une méthode appelée « Lookahead Search ». Avec cette technique, l’algorithme d’IA prendra en compte les situations et états attendus pour créer un plan d’action.

Pour faciliter la compréhension, pensez à un jeu stratégique comme les échecs. Avant de prendre une décision ou d’agir, vous devrez réfléchir à la réaction de votre adversaire et planifier en conséquence. De même, l’IA utilise également la méthode Lookahead Search pour tenter de planifier certains mouvements à l’avance. Ensuite, sélectionnez et priorisez les mouvements qui ont la plus grande probabilité de mener à la victoire.

Le problème de cette approche est que la plupart des situations du monde réel (et même certains jeux) ne contiennent pas un ensemble simple de règles régissant leur fonctionnement. Les chercheurs ont donc résolu le problème en demandant à l’IA d’essayer de modéliser la manière dont un environnement de jeu ou de scénario particulier affecterait le résultat. Ensuite, utilisez les connaissances et les informations obtenues pour élaborer un plan. La limite de cette méthode est qu’il est presque impossible de modéliser tous les aspects.

Par conséquent, au lieu de tout modéliser, MuZero essaiera uniquement de prendre en compte les facteurs importants pour prendre des décisions, à l’instar des humains. Par exemple, lorsque nous regardons par la fenêtre et voyons des nuages ​​sombres se former au loin, la plupart d’entre nous seront entraînés dans des pensées sur la pluie, les orages ou sur la façon dont nous devrions nous habiller pour éviter d’être mouillés si nous sortons… Au lieu de penser sur des problèmes tels que la condensation et la pression atmosphérique. C'est une forme de pensée sélective instinctive. La façon dont MuZero « pense » est la même.

Lorsqu’il s’agit de prendre une décision, MuZero doit prendre en compte trois facteurs différents. Il examinera les résultats de la décision précédente, la situation actuelle et enfin la meilleure marche à suivre pour prendre la prochaine décision. Cette approche apparemment simple fait de MuZero l’algorithme le plus efficace créé par DeepMind à ce jour.

MuZero est l'un des algorithmes les plus efficaces

Lors de tests internes, les résultats ont montré que MuZero fonctionnait de manière similaire à AlphaZero aux échecs, au Go et au shogi. Et c'est meilleur que tous les algorithmes précédemment publiés, y compris Agent57, dans les jeux Atari. De plus, plus MuZero donne de temps pour réfléchir à une action, plus l’algorithme sera efficace.

Les puissantes capacités d'apprentissage automatisé de MuZero pourraient un jour aider à résoudre des problèmes complexes dans de nombreux domaines « chauds » d'aujourd'hui, tels que la robotique - où il n'y a pas de place pour les règles simples.