Intelligence artificielle Le NIST propose l'élaboration d'une méthodologie pour évaluer notre confiance envers les...

Pour approfondir le sujet

Sur le même thème :

Le programme Confiance.ai dévoile de premiers résultats significatifs avec 6 cas d’usage pratiques

Lancé en janvier 2021, le programme Confiance.ai est un pilier technologique du Grand Défi « sécuriser, certifier et fiabiliser les systèmes fondés sur l'intelligence...

Le collectif Impact AI dévoile un guide pratique pour une IA digne de confiance

Le collectif Impact AI a présenté cette semaine un guide pratique, à destination des entreprises, pour mettre en œuvre une intelligence artificielle (IA) digne...

IBM dévoile une étude sur l’adoption de l’intelligence artificielle par les entreprises

Dans le cadre d'une étude réalisée par Morning Consult pour IBM, différents pays à travers le monde ont été scrutés pour mieux saisir leurs...

CAMEO, un modèle de machine learning capable de reconnaître tous types de matériaux

Dans le cadre de recherches sur les matériaux, le National Institute of Standards and Technology (NIST) a élaboré un modèle d'IA. Cet algorithme baptisé Closed-Loop...

Le NIST propose l’élaboration d’une méthodologie pour évaluer notre confiance envers les modèles d’intelligence artificielle

Le mois dernier, une équipe de chercheurs de l’Université de Géorgie avait réalisé une étude prouvant que les gens faisaient plus souvent confiance aux avis prononcés par un algorithme plutôt qu’à ceux proposés par une foule d’individus. Plus récemment, le National Institue of Standards and Technology (NIST) a proposé une méthode permettant d’évaluer la confiance que peuvent donner les utilisateurs aux modèles d’IA. La question abordée dans le cadre de cette étude est la suivante : quand décidons-nous de faire confiance ou non aux recommandations formulées par une machine ?

Une étude pour savoir si la confiance donnée par les humains aux machines est mesurable

Cette interrogation est la problématique principale d’un projet mené par le NIST dans l’optique d’en savoir plus sur la façon dont les humains font confiance aux systèmes d’IA. Leurs recherches ont abouti sur la publication d’un document de 23 pages rédigé par Brian Stanton du laboratoire des technologies d’information du NIST et Theodore Jensen, chercheur à l’Université du Connecticut et informaticien pour le NIST. L’étude rentre dans le cadre d’une initiative plus large du NIST qui vise à mieux comprendre les modèles d’IA de confiance.

Pour répondre à cette question, Brian Stanton s’est d’abord demandé si la confiance que donnent les humains aux systèmes d’IA est quelque chose de mesurable ou quantifiable. Et si c’est le cas, comment peut-on faire pour la mesurer de manière appropriée et avec précision. C’est ce qu’il évoque dans ses déclarations :

“De nombreux facteurs sont intégrés dans nos décisions en matière de confiance. C’est la façon dont l’utilisateur pense, ressent le système et perçoit les risques liés à son utilisation.”

Une première phase de recherche pour comprendre les mécanismes de la confiance

Avec l’aide de Theodore Jensen, ils ont exploité des articles scientifiques et des recherches déjà réalisées autour de la confiance et se sont appuyés sur deux axes de travail :

  • D’abord, ils se sont focalisés sur l’analyse du rôle intégral de la confiance dans l’histoire de l’humanité afin de comprendre comment elle a façonné nos processus cognitifs.
  • Grâce à cette première étape, ils ont pu se tourner vers les défis de confiance uniquement associés à l’IA, dont les capacités vont souvent au-delà de celles des humains.

De ces recherches, ils ont proposé une liste de neuf facteurs qui influe dans les processus de décisions d’un humain accordant -ou non- une certaine confiance à un modèle d’IA :

  • précision
  • fiabilité
  • résilience
  • objectivité
  • sécurité
  • compréhension
  • sureté
  • responsabilité
  • confidentialité.

L’article expose chacune de ces caractéristiques et montre comment une personne évalue un système d’IA en fonction d’un, de plusieurs ou de l’ensemble des facteurs.

Les facteurs sont plus ou moins influents selon les modèles d’intelligence artificielle

Partons d’un exemple. Nous prenons le facteur “précision” dans le cadre de l’évaluation par un individu d’un algorithme sélectionnant de la musique. Une personne curieuse de découvrir de nouvelles chansons et de sortir de sa zone de confort musicale ne sera pas trop regardante sur la précision du modèle d’IA quant à sa manière de choisir une chanson ou de créer une playlist.

Par contre, si le cadre concerne un système d’IA diagnostiquant le cancer, l’individu n’accordera que très peu souvent sa confiance au modèle si celui-ci n’est fiable qu’à 80 ou 90 %. Il ne sera pas très enclin à vouloir l’utiliser, surtout si l’utilisateur sait qu’il pourrait apprendre par la suite une mauvaise nouvelle. Cet exemple montre bien que ces facteurs sont plus ou moins influents selon les tâches effectuées par le système d’IA et selon sa manière de les réaliser.

À partir de ces recherches, Brian Stanton propose un modèle très particulier et demande l’avis des experts :

“Nous proposons un modèle de confiance des utilisateurs de l’IA. Tout est basé sur la recherche des autres et les principes fondamentaux de la cognition. Pour cette raison, nous aimerions recevoir des commentaires sur les travaux que la communauté scientifique pourrait poursuivre pour fournir une validation expérimentale de ces idées.”

L’institution propose au public et plus particulièrement à la communauté scientifique de fournir des commentaires autour du document et du projet grâce à un formulaire de réponse. Cet appel est ouvert jusqu’au 30 juillet 2021. Avec les avis recueillis et examen public, les deux chercheurs espèrent obtenir des informations plus précises pour poursuivre plus sereinement leurs recherches.

Pour plus d’informations sur l’intelligence artificielle de confiance, nous vous invitons à vous référer au magazine ActuIA N°3, dont le dossier central est consacré à ce sujet.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
XLSTAT® par Addinsoft

La solution la plus complète d'analyse de données et de statistique pour microsoft excel® xlstat est à la fois simple d'utilisation et très puissant....

 
Zacharie Tazrout

Partager l'article

Servier et Oncodesign Precision Medicine collaborent pour développer de nouveaux traitements pour le cancer du pancréas

Servier, groupe pharmaceutique international, et Oncodesign Precision Medicine (OPM), filiale du groupe biopharmaceutique Oncodesign, ont annoncé le 22 septembre dernier, « STarT Pancreas »,...

Allemagne : la Digitale Schiene Deutschland construit un jumeau numérique dans Nvidia Omniverse pour développer le futur réseau ferroviaire européen

Le rail présente de nombreux avantages par rapport à d'autres moyens de transport mais sa numérisation s'avère aujourd'hui indispensable face à ses technologies obsolètes...

Le NIH lance le programme Bridge2AI afin de relever les défis de la recherche biomédicale et comportementale

Le National Institutes of Health (NIH), l'agence de recherche médicale américaine faisant partie du département de la Santé et des Services sociaux, a annoncé...

IA et Santé : levée de fonds de 27 millions d’euros pour Incepto, spécialiste de la santé digitale

Incepto, plateforme de solutions d’IA appliquées à l’imagerie médicale, a annoncé le 19 septembre dernier, avoir levé 27 Ms€ lors d’un tour de table...
Recevoir une notification en cas d'actualité importante    OK Non merci