L’Académie des technologies émet des avis indépendants sur des grands choix technologiques et fournit des éléments de référence permettant d’éclairer le débat public. Son pôle numérique s’est saisi de la question des agents conversationnels intelligents, notamment de ChatGPT, Gérard Roucairol (ancien président de l’Académie, Président de son pôle numérique et ancien directeur scientifique de Bull) et Michèle Sebag (académicienne, directrice de recherche au CNRS, responsable de l’équipe Apprentissage et Optimisation, Laboratoire interdisciplinaire des Sciences du Numérique, Université Paris-Saclay) ont présenté son analyse.
L’Académie des technologies est un établissement public administratif national placé sous la tutelle du ministre chargé de la recherche et sous la protection du Président de la République. Promouvant un développement technologique au service de l’homme, de l’environnement et d’un bien-être durable pour un progrès raisonné, choisi et partagé, elle regroupe 360 personnalités élues, reconnues du secteur économique, de l’industrie, des scientifiques ainsi que des acteurs de l’éducation ou encore des sciences humaines.
Après avoir rendu des avis sur le Cloud, l’informatique quantique ou l’IA de confiance, elle publie son analyse via l’« Avis sur les agents conversationnels intelligents et ChatGPT, Prouesses et limites de l’imitation artificielle de langages ».
Celui-ci débute par les applications potentielles des agents conversationnels, leur développement et leur mise à disposition du public avant de soulever les ressources qu’ils nécessitent : un coût énergétique de l’entraînement actuellement de l’ordre de 1 GWh, l’ajout d’un LLM aux moteurs de recherche existants augmenterait la consommation électrique mondiale de façon considérable au-delà du TWh. L’avis se consacre ensuite à ChatGPT, à la position française et européenne et propose, pour finir, des recommandations afin d’anticiper les effets économiques et sociétaux des LLM.
Étude de cas : usages et limites de ChatGPT
Un nombre considérable de dialogues ont été générés et enregistrés pour des usages parfois imprévus par les quelques centaines de millions d’utilisateurs ayant utilisé ChatGPT depuis fin novembre2022, ceux-ci sont utilisés pour ré-entraîner et améliorer le système.
L’analyse de ChatGPT3 est structurée selon le canevas classique SWOT : « forces, faiblesses, opportunités, menaces ».
Forces
Alors que les moteurs de recherche classiques proposent les pages où trouver la réponse à une question posée, ChatGPT propose un texte de synthèse, répondant directement à la question posée. La longueur du texte ainsi que le niveau de langue peuvent être ajustés selon le souhait de l’utilisateur, le chat tient également compte des phrases précédentes au cours du dialogue (session).
Pour les auteurs de l’avis, cela peut permettre de franchir une nouvelle étape dans la démocratisation des savoirs liée au numérique.
Le fait que ChatGPT dispose d’un certain contrôle sur certaines de ses réponses, lui permettant de répondre “Ceci m’est interdit” à des demandes portant par exemple sur la fabrication d’armes est une autre de ses forces.
Faiblesses
- Les réponses émises par ChatGPT se fondent sur les statistiques : le système émet des réponses plausibles et rapides, mais non vérifiées ;
- ChatGPT souffre “d’hallucinations” (création de réponses de toute pièce), d’incohérences et d’indéterminismes (notamment entre les réponses fournies au cours d’un dialogue). Selon l’avis, ces défauts sont d’autant plus graves qu’il s’agit de sujets pointus sur lesquels les données sont rares ou présentant des risques d’homonymie.
- L’utilisateur peine à distinguer ces hallucinations des réponses basées sur la réalité ;
- D’énormes efforts de consolidation (par RLHF) sont nécessaires en continu, pour améliorer la qualité des réponses et bloquer les interactions indésirées ;
- La définition des interactions indésirées dépend entièrement de l’entreprise propriétaire du LLM tout comme la “couleur” politique, économique, ou philosophique des réponses ;
- Le contrôle de biais, d’excès de langage, d’interdictions peut être contourné en formulant ses demandes de manière subtile ;
- Le corpus d’entraînement de ChatGPT ne respecte pas le RGPD, ce qui a d’ailleurs conduit la Cnil italienne à limiter provisoirement son usage. Par ailleurs, la compatibilité des textes générés avec les législations en vigueur n’est pas établie, notamment en ce qui concerne le droit d’auteur et la propriété intellectuelle.
Menaces
Alors que ChatGPT offrira l’opportunité de créer de nombreuses applications, il comporte des menaces, notamment celle de permettre de propager des croyances arbitraires et, tout comme les autres systèmes similaires, il est excessivement énergivore tant par ses usages que par la fabrication des infrastructures requises.
La position française et européenne
Les compétences existent en Europe pour participer au meilleur niveau aux avancées scientifiques et technologiques liées aux agents conversationnels intelligents. L’accès aux moyens de calcul est facilité notamment par l’initiative européenne EuroHPC qui permet à la recherche publique et privée en Europe d’avoir accès aux plus puissants des supercalculateurs.
Cependant, les capitaux nécessaires aux étapes de consolidation et mise à disposition publique des LLM font défaut.
Recommandations
L’Académie des technologies recommande d’anticiper les effets économiques et sociétaux des produits et services créés par les GAFAM, remédier après coup à leurs conséquences indésirables s’avèrant difficile.
- L’Académie appelle de ses vœux la réalisation de LLM conformes aux valeurs européennes, s’appuyant sur les compétences scientifiques et techniques disponibles au meilleur niveau international, et capables de répondre aux objectifs de performance et de confiance dans l’esprit des logiciels libres ;
- La vision de l’Académie est celle de la constitution d’un bien commun, créé et soutenu par les efforts joints des parties prenantes, ainsi que par les investissements européens publics et privés notamment nécessaires pour les infrastructures et l’exploitation ;
- L’Académie souhaite également qu’un centre d’expertise national ou européen soit créé pour la régulation des langageurs, s’inspirant par exemple de l’ANSSI dans le domaine de la cybersécurité.
Voir le replay de la présentation de l’avis
Avis AT Prouesses et limites de l’imitation artificielle de langages
