Intelligence artificielle Intelligence artificielle : démonstration en direct des nouvelles performances de DeepMind

Pour approfondir le sujet

Sur le même thème :

DeepMind présente une solution de génération automatique d’algorithmes d’apprentissage par renforcement

Les chercheurs de DeepMind ont présenté le 17 juillet dernier dans un article sur Arxiv une étude sur les algorithmes d’apprentissage par renforcement. Junhyuk Oh,...

L’apprentissage par renforcement au centre de l’IA d’Apple

Ruslan Salakhutdinov, directeur de recherche sur l’intelligence artificielle chez Apple arrivé en octobre dernier, a parlé d'une partie des recherches en cours au sein...

Google s’attaque au problème de l’oubli catastrophique, fondamental en intelligence artificielle

La société DeepMind, rachetée par Google en 2014, est parvenue à réaliser une avancée fondamentale dans le développement de l'intelligence artificielle. Les chercheurs se...

DeepMind dévoile une expérimentation d’apprentissage par renforcement

DeepMind a dévoilé une nouvelle recherche axée 'Intelligence artificielle' intitulée Emergence of Locomotion Behaviours in Rich Environments. Les chercheurs se sont centrés sur l'apprentissage...

Intelligence artificielle : démonstration en direct des nouvelles performances de DeepMind

DeepMind présentera aujourd’hui à 19H heure française les nouvelles performances de son intelligence artificielle sur l’environnement de StarCraft II dans un live stream.

Pourquoi DeepMind s’intéresse autant aux jeux ?

On ne présente plus DeepMind, véritable référence dans le domaine de l’intelligence artificielle. Son apparente fascination pour l’univers des jeux peut prêter à sourire les néophytes : DeepMind s’est penchée sur le jeu d’échecs, sur le jeu de Go, sur StarCraft II pour ne citer qu’eux.

Ces travaux sont pourtant tout ce qu’il y a de plus sérieux et ne doivent pas être regardés par le simple petit bout de la lorgnette. Le grand public voit souvent les jeux comme un moyen de confronter l’IA à des humains. Il est certain que le fait qu’une IA batte des experts fait sensation et assure un joli coup de pub. Mais il est surtout important de comprendre que ces jeux représentent avant tout des terrains d’expérimentation. StarCraft II est un jeu de stratégie dans lequel des personnages évoluent au sein d’un environnement virtuel complexe. En permettant aux développeurs d’utiliser cet environnement grâce à une API, Blizzard, l’éditeur du jeu, met à disposition des chercheurs un gigantesque laboratoire. Le système est principalement utilisé pour expérimenter l’apprentissage par renforcement.

Qu’est-ce que l’apprentissage par renforcement ?

L’apprentissage par renforcement est une technique de Machine Learning (apprentissage machine) permettant d’entraîner un agent par le biais de stimulus positifs ou négatifs. L’agent (robot, personnage de jeu vidéo, voiture..) a un comportement érratique lors de son initialisation, et est encouragé à explorer, tout en étant sensible aux récompenses et punitions. Il adaptera alors son comportement, qui nous semblera de plus en plus cohérent. Cet apprentissage est sensiblement analogue à celui d’un humain qu’on larguerait sur une ile déserte, livré à lui même, ne pouvant apprendre que par l’expérimentation. Au même titre qu’une personne qui découvre le feu apprendra à s’en méfier après s’être brûlée ou au contraire, cherchera à renouveler des expériences qui lui sont positives, un agent virtuel peut apprendre à se déplacer et survivre dans un environnement de jeu vidéo. Cela tout en tentant de maximiser ses gains et de préserver ses points de vie.

Le fait d’utiliser l’apprentissage par renforcement dans un jeu a-t-il un intérêt en dehors de ce jeu lui-même ?

Outre la démonstration technologique pure, l’intérêt de l’expérimentation dans des univers virtuels est réel. Il est aisé de comprendre qu’il est beaucoup plus simple et économique de pouvoir entraîner une IA dans un environnement virtuel, dans lequel l’apprentissage représente un coût quasiment nul et peut se faire de façon massivement parallèle et à vitesse accélérée, tout cela en évitant la casse qui serait occasionnée dans le monde réel.

Mais l’apprentissage dans une simulation virtuelle peut-il être transposé au mondé réel ?

Bien sûr, il est difficilement envisageable de transposer directement une IA dont l’apprentissage s’est fait sur Starcraft 2 dans le monde réel. L’utilisation des simulations virtuelles pour l’apprentissage, ou du moins, le préapprentissage, est pourtant une piste extrêmement intéressante. Notamment dans le domaine des voitures autonomes. Une application grand public de cette combinaison de simulation virtuelle et monde physique est la mini-voiture Deep Racer d’Amazon. Bien plus qu’un jouet, elle permet de s’initier à l’apprentissage par renforcement en participant à des courses physiques tout autant qu’à des courses virtuelles en ligne, cela grâce à la même IA, qui peut tantôt animer les déplacements du véhicule dans le monde réel où affronter des adversaires en réseau.

Pour aller plus loin, n’hésitez pas à visionner les vidéos de Thibault Neveu sur l’implémentation de PySC2, le wrapper Python pour StarCraft 2 développé par DeepMind:

 Créer une IA sur l’environnement de StarCraft II
Apprendre à un agent à se déplacer grâce à l’apprentissage par renforcement

 
ActuIA

Partager l'article

Découvrez ActuIA n°8, le nouveau numéro du magazine de l’intelligence artificielle

L’été est bien là et c’est déjà l’heure du nouveau numéro d’ActuIA, votre magazine de l’intelligence artificielle ! Pour ce n°8 d’ActuIA, disponible dès...

Victor Schmidt, doctorant sous la direction de Yoshua Bengio, est le lauréat de la 6ème bourse Antidote en TAL

Druide informatique a annoncé fin mai la nomination du lauréat de la 6e Bourse Antidote en traitement automatique de la langue (TAL). Victor Schmidt,...

Retour sur le lauréat du Prix CNIL-INRIA pour la protection de la vie privée

Fin mai, François Pelligrini et Mathieu Cunche, co-présidents du Jury du Prix CNIL-Inria, ont remis le prix pour la protection de la vie privée...

La Lufthansa s’appuie sur le logiciel « Virtual Aviation Training » de NMY pour former ses équipes de cabine

La pandémie a fortement impacté les compagnies aériennes. Depuis la levée des restrictions sanitaires, elles doivent affronter un autre problème : malgré une forte...
Recevoir une notification en cas d'actualité importante    OK Non merci