Quand les systèmes d'IA nous dupent : GPT-4 obtient un score de 54% au test de Turing

Les modèles de langage ont fait d’énormes progrès ces dernières années et sont désormais capables de générer un contenu textuel souvent indiscernable de celui écrit par des humains. Deux chercheurs du Département des sciences cognitives de l'Université de Californie à San Diego, ont voulu savoir si deux d'entre eux, GPT-3,5 et GPT-4 ainsi qu'un programme de traitement du langage naturel des années 60, Eliza, pouvaient duper un humain, l'amenant à croire qu'ils étaient eux-mêmes un humain : le fameux Test de Turing. GPT-4 l'a passé avec brio, obtenant un score impressionnant de 54%. Alan M Turing était un mathématicien britannique visionnaire, dont les travaux pionniers ont jeté les bases de l’informatique moderne et façonné le développement de l’intelligence artificielle. Le prestigieux Prix Turing, considéré comme le prix Nobel de l'informatique, a été créé pour lui rendre hommage. Il est notamment célèbre pour sa contribution décisive au décryptage du code allemand Enigma pendant la Seconde Guerre mondiale. Dans son article "Computing Machinery and Intelligence", publié en octobre 1950, Alan M Turing proposait un “jeu d’imitation” visant à déterminer si une machine peut se faire passer pour un humain au cours d'une conversation textuelle. Si un interrogateur humain ne peut différencier la machine de l’humain dans plus de 30 % des cas au bout de cinq minutes d’interaction, la machine a réussi ce test, dénommé par la suite test de Turing. Si Eliza, qui a été également évaluée lors de cette étude, n'y a pas été soumise, d'autres programmes informatiques ont été déclarés comme ayant réussi le test de Turing ou des variantes de celui-ci. En 1970, Parry, un programme créé par Kenneth Colby, qui se faisait passer pour un patient schizophrène paranoïaque, a réussi à tromper certains experts en psychiatrie. Il est considéré comme une étape importante dans le domaine de la simulation de comportements humains complexes et le précurseur des chabots que nous connaissons aujourd'hui. Vladimir Veselov, Eugene Demchenko et Sergey Ulasen ont développé en 2001 un agent conversationnel, Eugène Goostman, prétendant être un garçon ukrainien de 13 ans. En 2014, lors d'un concours à l'Université de Reading, Eugene Goostman a trompé 33% des juges en leur faisant croire qu'il était humain, ce qui a été présenté comme un passage du test de Turing. Cependant, cette assertion a suscité des débats sur la définition précise et les critères du test.

GPT-4 passe le test de Turing avec succès

Dans leur étude intitulée "People cannot distinguish GPT-4 from a human in a Turing test", Benjamin K. Bergen, chercheur principal au laboratoire de langage et cognition de l'UC et Cameron R. Jones, qui y est doctorant, ont évalué 3 systèmes d'IA (ELIZA, GPT-3.5 et GPT-4) dans un test de Turing randomisé, contrôlé et préenregistré. Les chercheurs ont recruté 500 participants sur la plateforme en ligne Prolific qui ont été répartis de manière aléatoire en cinq groupes distincts. Le premier avait pour mission de démontrer à ses interlocuteurs qu'il était réellement un humain, les quatre autres de déterminer après une conversation de cinq minutes, s'ils avaient interagi avec un humain ou un système d'IA.

Les chiffres de l'étude

Seulement 22 % des participants ont cru qu'ELIZA était humain. Ce programme informatique historique développé par Joseph Weizenbaum entre 1964 et 1966 simule une conversation de psychothérapeute, ses réponses sont prédéfinies en utilisant des mots-clés dans les interactions avec les patients. GPT-3,5 a obtenu un score plus qu'honorable avec 50%, mais GPT-4 l'a surpassé avec 54%. Ils sont toutefois en deça du groupe humain qui a réussi à convaincre les autres participants à l'étude qu'il était bien un humain (67%).

Implications

Pour les chercheurs, les résultats suggèrent que les facteurs stylistiques et socio-émotionnels sont plus déterminants pour la réussite du test de Turing que les notions traditionnelles d'intelligence. La manière dont une IA communique, son style et sa capacité à gérer les aspects émotionnels des conversations jouent donc un rôle crucial dans la perception de son humanité. Ces résultats alimentent les débats sur ce qui constitue réellement l'intelligence artificielle. Si une IA peut être perçue comme humaine sans atteindre une intelligence générale équivalente à celle des humains, cela soulève des questions sur les critères d'intelligence et de conscience. D'autre part, ils suggèrent que la tromperie des systèmes d’IA actuels pourrait passer inaperçue, entraînant des risques de mésinformation et de manipulation. D'ailleurs, une récente étude de l’École polytechnique fédérale de Lausanne (EPFL)  a mis en lumière le pouvoir de persuasion des grands modèles de langage (LLM) lors des interactions en ligne. Les chercheurs ont démontré que lorsqu’on fournissait des informations personnelles à GPT-4 sur son interlocuteur, le modèle adaptait ses arguments de façon bien plus efficace qu’un être humain pour le faire changer d’avis. Références de l'article : "People cannot distinguish GPT-4 from a human in a Turing test", arXiv :2405.08007 Auteurs et affiliations: Benjamin K. Bergen et Cameron R. Jones, Département des sciences cognitives de l'Université de Californie à San Diego