Les chercheurs de Facebook AI proposent BlenderBot en open source pour faire progresser la recherche en IA conversationnelle

Les chercheurs de Facebook AI proposent BlenderBot en open source pour faire progresser la recherche en IA con
blank
Actu IA
BlenderBot FAIR

Dans un blogpost publié sur ai.facebook.com, Stephen Roller, Jason Weston et Emily Dinan ont présenté BlenderBot, un projet de recherche sur l’IA conversationnelle. Ce prototype est, comme ils l’indiquent, l’aboutissement de plusieurs années de recherche et le premier chatbot dans le monde à combiner un ensemble de compétences conversationnelles diverses – dont l’empathie, les connaissances et la personnalité – dans un seul système.

Facebook AI Research a donc annoncé avoir développé BlenderBot, un chatbot qui serait capable de converser aussi bien que les humains et pouvant faire preuve d’empathie, d’apprendre et de développer sa propre personnalité. FAIR a également annoncé proposer BlenderBot en open source.

“Nous avons franchi cette étape grâce à une nouvelle recette de chatbot qui comprend des techniques de décodage améliorées, de nouvelles compétences de mélange et un modèle avec 9,4 milliards de paramètres, soit 3,6 fois plus que le plus grand système existant. Aujourd’hui, nous publions le modèle complet, le code et les évaluations, afin que d’autres chercheurs en IA puissent reproduire ce travail et continuer à faire progresser la recherche en IA conversationnelle”.

Les chercheurs de Facebook ont ​​tiré parti des recherches existantes pour développer BlenderBot dont PersonaChat, Wizard of Wikipedia, Empathic Dialogues et une tâche appelée Blended Skill Talk pour entraîner et évaluer ces compétences.

Pour créer ce modèle conversationnel, qui pourrait être utilisé dans les services à la clientèle, Facebook a utilisé plus de 1,5 milliard de conversations publiées de manière anonyme sur le réseau social Reddit. Les chercheurs explique que l’interaction avec BlenderBot est tellement réelle et satisfaisante que 49% des personnes interrogées ont préféré parler avec le chatbot plutôt qu’avec un humain.

BlenderBot est capable de transmettre et de générer certaines émotions et/ou sentiments en fonction de ce que les utilisateurs demandent ou commentent. Facebook l’a comparé à Meena, le chatbot de Google. En utilisant la méthode ACUTE-Eval, les deux agents conversationnels ont été soumis aux mêmes conversations sur les films, la musique ou le véganisme. Selon Facebook, 67% des personnes interrogées ont considéré que BlenderBot semblait plus humain que Meena.

Petit bémol pour les chercheurs tout de même car ils estiment que le système généré par l’intelligence artificielle a plus de mal à maintenir le niveau des conversations si elles s’allongent. Ils prennent pour exemple les réponses incohérentes et même irrespectueuses qu’il a faites suite à la réception de nombreuses interactions de la part des utilisateurs.

1
In this graph, we show how often human evaluators preferred our chatbots to human-to-human chats over time. Since 2018, we’ve improved model performance in this evaluation — from 23% in 2018 to 49% today.

Les chercheurs du FAIR sont cependant satisfaits de BlenderBot. Selon eux il s’agit d'”un pas dans la bonne direction”. En le proposant en open source, ils espèrent également que d’autres équipes vont l’utiliser et que le chatbot pourra être amélioré à l’avenir.

“C’est le premier chatbot capable de rassembler différentes caractéristiques et compétences conversationnelles dans un seul système”

Pour lire l’article sur Arxiv : ICI
Pour obtenir le code : ICI

L’équipe de ce projet est composée de : Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, Jason Weston.