Deepnash
Développer des agents intelligents qui apprennent de bout en bout à prendre des décisions optimales sous des informations imparfaites dans Stratego, à partir de zéro, sans données de démonstration, est donc le défi que se sont lancés les chercheurs de Deepmind AI. Ils ont choisi pour cela la version la plus complexe du jeu : Stratego Classique et présentent Deepnash, un agent autonome qui a battu les meilleures méthodes existantes et a atteint le niveau de jeu expert.
DeepNash repose sur un algorithme RL basé sur des principes et sans modèle, appelé dynamique de Nash régularisée (R-NaD), combiné à une architecture de réseau neuronal profond pour converger vers un équilibre epsilon-Nash. (La notion de dynamique de Nash fait référence au mathématicien John Forbes Nash dans la théorie des jeux).
Un équilibre de Nash garantit que l'agent fonctionnera bien, quelque soit l'adversaire. Il est souvent utilisé pour jouer contre les humains dans des jeux à somme nulle à deux joueurs.
L'algorithme Regularized Nash Dynamics (R-NaD), reposant sur le concept de régularisation, implémenté via le réseau de neurones profond, converge donc vers un équilibre de Nash approximatif, au lieu de "cycler" autour de lui, et modifie directement la dynamique d'apprentissage multi-agent sous-jacente. (figure 1b)
L'évaluation de Deepnash
L'équipe a ensuite évalué les performances de Deepnash sur la plateforme Gravon, un serveur de jeux en ligne bien connu des joueurs de Stratego où il a été mesuré par rapport à huit bots IA. Le tableau ci-dessous démontre son efficacité puisqu'il a remporté 97% des challenges :
Il a également été testé durant deux semaines en avril dernier contre les meilleurs joueurs humains et a remporté 84% des 50 parties, ce qui le positionne à la 3ème place du défi Classic Stratego 2022. Deepnash a ainsi démontré ses capacités pour le déploiement, le bluff et les compromis.
DeepNash pourrait débloquer d'autres applications RL pour des problèmes multi-agents du monde réel, caractérisés par des informations imparfaites, qui sont actuellement hors de portée des méthodes d'IA de pointe.
Sources de l'article :
ArXiv : "Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning" (arXiv:2206.15378)
Julien Perolat , Bart de Vylder , Daniel Hennes , Eugene Tarassov , Florian Strub , Vincent de Boer , Paul Muller , Jerome T. Connor , Neil Burch , Thomas Anthony , Stephen McAleer , Romuald Elie , Sarah H. Cen , Zhe Wang , Audrunas Gruslys , Aleksandra Malysheva , Mina Khan , Sherjil Ozair , Finbarr Timbers , Toby Pohlen , Tom Eccles , Mark Rowland , Marc Lanctot , Jean-Baptiste Lespiau , Bilal Piot , Shayegan Omidshafiei , Edward Lockhart, Laurent Sifre , Nathalie Beauguerlange , Rémi Munos , David Silver , Satinder Singh , Demis Hassabis , Karl Tuyls.
Nos articles remonteront en priorité dans « À la une » de Google.
