Facebook AI Innovation Summit : Habitat 2.0, un simulateur pour aider les robots dans les tâches domestiques

Le 30 juin dernier, s'est tenu le Facebook AI Innovation Summit, un évènement annuel de Facebook AI Research (FAIR) en Europe. L'occasion pour la filiale de recherche de Facebook de présenter ses dernières innovations autour de la thématique suivante : "Construire un monde meilleur grâce à l'IA". Dans ce cadre, le groupe a présenté ses travaux autour de son projet Habitat 2.0 en collaboration avec Matterport : un simulateur d'IA pour aider les robots dans les tâches domestiques.

Un simulateur qui entraine les modèles d'IA à réaliser des tâches domestiques

Dans le cadre de son évènement annuel, FAIR a présenté Habitat 2.0, la seconde version de son simulateur Habitat qui a pour optique de permettre aux modèles d'IA pour la robotique ou pour le développement d'assistants virtuels personnalisés d'être formés dans des environnements interactifs et à des vitesses beaucoup plus rapides que son prédécesseur Habitat 1.0. Habitat 2.0 comprend également un nouveau dataset 3D entièrement interactif représentant des espaces intérieurs. Elle inclut également de nouvelles références pour la formation de robots virtuels. Avec ce jeu de données et cette nouvelle plateforme, les chercheurs et experts en IA peuvent aller au-delà de la simple création d'agents virtuels dans des environnements 3D statiques. L'outil permet de les aider dans la conception de robots capables d'effectuer des tâches domestiques que nous, humains, pouvons réaliser au quotidien comme mettre notre vaisselle dans un lave-vaisselle, ranger notre réfrigérateur ou poser et récupérer des objets sur une commode.

Facebook AI Research s'allie à Matterport, spécialiste de la capture d'environnements

Pour concevoir ces environnements 3D, FAIR collabore avec Matterport, une société spécialisée dans la capture d'environnements. Ensemble, ils ont conçu une collection d'un millier d'environnements disponibles librement et gratuitement pour la recherche. Cet ensemble d'environnements s'intitule Habitat-Matterport 3D Research Dataset (HM3D) et comporte de nombreux espaces : municipaux, commerciaux, résidentiels. Ces environnements ont été générés à l'aide d'images de lieux réels : ils ont exploité les cinq millions d'espaces scannées par la firme depuis ses débuts. HM3D est d'ores et déjà disponible et a été conçu pour fonctionner avec Habitat 2.0. Facebook précise :

"Nous espérons que l'ensemble de données de recherche 3D Habitat-Matterport (HM3D) rapprochera les chercheurs de la création d'agents d'IA - robots virtuels ou assistants personnels - qui pourront être entrainés en toute sécurité, à grande échelle et de manière reproductible dans une simulation."

Un outil plus rapide et plus performant dans ses capacités de simulation

Les équipes de recherche de FAIR ont conçu cette nouvelle version d'Habitat en mettant la priorité sur la vitesse et la performance de sa plateforme, et ainsi, fournir un plus large portefeuille de capacités de simulation pour aider la communauté de chercheurs à tester de nouvelles approches. Par exemple, plutôt que de simuler un contact roue/sol, les chercheurs ont utilisé un maillage de navigation pour déplacer le robot. Pour l'instant, la plateforme ne prend pas en charge les dynamiques non rigides comme les liquides, les tissus, les cordes ou la détection d'éléments audio ou tactiles. Toutefois, les experts exploitant Habitat 2.0 pourront effectuer des tâches complexes qu'il était quasiment impossible à réaliser. La vitesse proposée par la plateforme permet de réduire considérablement le temps d'expérimentation : les utilisateurs experts pourront réaliser leurs tests en deux ou trois jours contre presque six mois auparavant. Un temps réduit qui pourrait être la voie vers des innovations et des progrès dans le domaine beaucoup plus rapides. À l'avenir, Habitat cherchera à modéliser des espaces qui n'ont pas encore été modélisés ou prendra en compte les différences culturelles et régionales du mobilier et de leurs placements au sein d'une pièce ou d'un lieu. Malgré le fait que Habitat 2.0 soit déjà très performant, FAIR souhaite améliorer sa plateforme en se concentrant sur des aspects liés à la gestion des environnements par exemple.