L'apprentissage supervisé et par renforcement pour aider les robots à s'adapter à tout type d'environnement

A travers Rapid Motor Adaptation (RMA), Facebook progresse dans l'adaptation des robots à leur environnement, afin de développer leur motricité.

Adapter les robots à un environnement tout comme un humain peut le faire au quotidien

Les humains peuvent marcher avec une relative facilité sur les rochers, dans la boue, monter et descendre des collines, ou encore sauter sur des trampolines ou garder l'équilibre sur une surface plutôt molle. Cela est possible grâce à nos muscles puissants et flexibles à la fois qui s'adaptent aux conditions de l'environnement dans lequel nous nous trouvons. Une équipe de recherche composée d'experts de FAIR, de l'Université de Berkley et de l'Université Carnegie Mellon sont partis de ce constat chez les humains pour concevoir un modèle d'IA intitulé Rapid Motor Adaptation (RMA) et qui permet aux robots dotés de jambes de s'adapter en temps réel à des environnements divers et variés. Jusqu'à présent, les robots à pattes étaient soit entièrement codés à la main pour les environnements qu'ils côtoyaient, soit les experts faisaient en sorte qu'ils apprennent à naviguer dans leurs environnements grâce à une combinaison de techniques de codage manuel et de machine learning.

Un modèle d'adaptation conçu grâce à l'apprentissage par renforcement et l'apprentissage supervisé

Le RMA utilise la combinaison de deux méthodes liées à l'IA afin de fonctionner :

• Premier module - L'apprentissage par renforcement : l'outil exploite l'apprentissage par renforcement en utilisant des informations qu'il sélectionne sur les différents environnements qu'il peut côtoyer (la friction, le poids et la forme de la charge utile, etc.). Le robot s'adapte à l'adhérence du sol comme à son inclinaison.
• Second module - Module d'adaptation : il n'était pas possible, selon les chercheurs, de se baser uniquement sur l'apprentissage par renforcement, car on ne peut pas connaître à l'avance les éléments réels que le robot pourrait rencontrer sur son chemin. L'apprentissage supervisé a été exploité par l'équipe de recherche comme "module d'adaptation" afin que le robot puisse justement s'adapter à ces aléas. Ce module a été formé à l'aide de l'apprentissage supervisé.

Les deux modules fonctionnent main dans la main et de manière asynchrone : le premier module s'exécute rapidement tandis que le second prend plus de temps à se mettre en place.

Un robot efficace qui s'adapte aux environnements grâce à l'IA, même en portant une charge utile

Une batterie de tests a été réalisée par l'équipe de recherche coordonnant le projet. Ils démontrent qu'un robot compatible avec l'outil RMA surpasse les systèmes dits "alternatifs" (ceux qui sont codés expressément pour un environnement) lorsqu'il marche sur différentes surfaces ou pentes, qu'il rencontre des obstacles ou lorsqu'il reçoit différentes charges utiles à transporter. Le robot utilisé pour les expériences et doté du RMA a pu marcher sur du sable, dans de la boue, sur des sentiers de randonnée, dans de hautes herbes et sur un tas de terre sans qu'il y ait eu un seul échec. Dans 70 % des essais réalisés, le robot a réussi à descendre des marches le long d'un sentier de randonnée, et dans 80 % des tests réalisés, il a réussi à naviguer sur un tas de ciment et sur des tas de cailloux. Un taux de réussite élevé a été conservé même lorsqu'il se déplaçait avec une charge utile de douze kilogrammes, soit une masse aussi lourde que son propre poids. Au-delà des possibilités robotiques, les chercheurs précisent que leurs travaux pourront être utiles pour la conception de modèles d'IA capable de s'adapter à de nombreuses situations et à de nombreux défis, complexes en temps réel, et qui prendraient en compte, tout comme les robots, l'ensemble des caractéristiques du milieu pour s'approprier totalement l'environnement.