Intelligence artificielle Oregon : les services de protection de l'enfance vont cesser d'utiliser un...

Pour approfondir le sujet

Sur le même thème :

Focus sur la Charte de Pôle Emploi pour une utilisation éthique de l’intelligence artificielle

Pôle emploi a été l'un des lauréats du programme « Action Publique 2022 » pour son projet « installer l’intelligence artificielle au sein de...

Grâce à l’intelligence artificielle, Meta peut construire ses centres de données avec un béton bas carbone

En 2018, Meta s'est engagée à minimiser son empreinte environnementale et vise le zéro émission nette pour sa chaîne de valeur en 2030. Cependant,...

Le CNRS accroît sa présence au Canada avec la création de deux nouveaux laboratoires

La coopération scientifique ente le Canada et la France est bien établie, le CNRS en est une partie prenante. Ce 25 avril, il a...

Intelligence artificielle et sport : les protège-dents sont de plus en plus connectés

Les protège-dents, qui ont pour rôle d'empêcher une fermeture brusque des mâchoires lors d'un impact violent, ne se contentent pas de protéger les dents,...

Oregon : les services de protection de l’enfance vont cesser d’utiliser un algorithme entraîné pour détecter la maltraitance des enfants

Au CHU de Dijon, des chercheurs testent actuellement un algorithme pour dépister la maltraitance des enfants, grâce à l’identification des pathologies et des lésions lors d’hospitalisations de très jeunes enfants. Aux USA, dans de nombreux états, des outils de dépistage sont d’ores et déjà utilisés par les services de protection de l’enfance mais se révèlent pernicieux : entraînés avec des données telles que la santé mentale, la toxicomanie, les séjours en prison, ils cibleraient les familles noires. Bien que convaincu que l’IA peut apporter son aide, l’Oregon vient donc d’annoncer l’abandon de l’algorithme actuellement utilisé pour décider si une enquête sur la famille est nécessaire.

Lorsqu’un signalement de maltraitance ou de négligence envers un enfant est fait, les travailleurs sociaux sont tenus de mener une enquête pour préserver la vie de cet enfant.
Aux USA, alors que les agences de protection de l’enfance utilisent ou envisagent de mettre en œuvre des algorithmes, une enquête de l’AP (Associated Press) a mis en évidence des problèmes concernant la transparence, la fiabilité et les disparités raciales dans l’utilisation de l’IA, notamment son potentiel à renforcer les préjugés dans le système de protection de l’enfance.

L’algorithme du Comté d’Allegheny, Pennsylvannie

L’algorithme actuellement utilisé en Oregon s’inspire de celui du Comté d’Allegheny, sur lequel une équipe de l’Université Carnegie Mellon a mené des recherches auxquelles l’AP a eu accès. L’algorithme d’Allegheny a signalé un nombre disproportionné d’enfants noirs pour une enquête de négligence « obligatoire », par rapport aux enfants blancs. Les chercheurs indépendants ont d’ailleurs pu constater que les travailleurs sociaux n’étaient pas d’accord avec 1/3 des scores de risque que l’algorithme produisait.

Celui-ci a été entraîné pour prédire le risque qu’un enfant soit placé en famille d’accueil dans les deux ans suivant l’enquête à l’aide de données personnelles détaillées recueillies depuis la naissance, assurance maladie, toxicomanie, santé mentale, séjours en prison et dossiers de probation, entre autres ensembles de données gouvernementales. L’algorithme calcule ensuite un score de risque de 1 à 20 : plus le nombre est élevé, plus le risque est grand. La négligence, pour laquelle cet algorithme a été entraîné, peut inclure de nombreux critères allant du logement inadéquat au manque d’hygiène, mais des outils similaires pourraient être utilisés dans d’autres systèmes de protection de l’enfance avec une intervention humaine minimale ou nulle, de la même façon dont les algorithmes ont été utilisés pour prendre des décisions dans le système de justice pénale aux USA et pourraient ainsi renforcer les disparités raciales existantes dans le système de protection de l’enfance.

L’un des membres de l’équipe de recherche a déclaré :

« Si l’outil avait agi de lui-même pour dépister un taux d’appels comparable, il aurait recommandé que les deux tiers des enfants noirs fassent l’objet d’une enquête, contre environ la moitié de tous les autres enfants signalés. »

L’abandon de l’algorithme par l’Oregon

Quelques semaines après ces conclusions, le département des services sociaux de l’Oregon a annoncé à son personnel par mail en mai dernier que « Après une “analyse approfondie”, les travailleurs de la hotline de l’agence cesseraient d’utiliser l’algorithme fin juin pour réduire les disparités concernant les familles faisant l’objet d’une enquête pour maltraitance et négligence envers les enfants par les services de protection de l’enfance. »
Lacey Andresen, directrice de l’agence, a précisé :

« Nous nous engageons à améliorer continuellement la qualité et l’équité. »

Le sénateur démocrate de l’Oregon Ron Wyden se dit préoccupé par l’utilisation croissante d’outils d’intelligence artificielle dans les services de protection de l’enfance.
Il a déclaré dans un communiqué :

« Prendre des décisions sur ce qui devrait arriver aux enfants et aux familles est une tâche bien trop importante pour donner des algorithmes non testés. Je suis heureux que le département des services sociaux de l’Oregon prenne au sérieux les préoccupations que j’ai soulevées concernant les préjugés raciaux et suspende l’utilisation de son outil de dépistage. »

 
Pierre-yves Gerlat

Partager l'article

Découvrez ActuIA n°8, le nouveau numéro du magazine de l’intelligence artificielle

L’été est bien là et c’est déjà l’heure du nouveau numéro d’ActuIA, votre magazine de l’intelligence artificielle ! Pour ce n°8 d’ActuIA, disponible dès...

Victor Schmidt, doctorant sous la direction de Yoshua Bengio, est le lauréat de la 6ème bourse Antidote en TAL

Druide informatique a annoncé fin mai la nomination du lauréat de la 6e Bourse Antidote en traitement automatique de la langue (TAL). Victor Schmidt,...

Retour sur le lauréat du Prix CNIL-INRIA pour la protection de la vie privée

Fin mai, François Pelligrini et Mathieu Cunche, co-présidents du Jury du Prix CNIL-Inria, ont remis le prix pour la protection de la vie privée...

La Lufthansa s’appuie sur le logiciel « Virtual Aviation Training » de NMY pour former ses équipes de cabine

La pandémie a fortement impacté les compagnies aériennes. Depuis la levée des restrictions sanitaires, elles doivent affronter un autre problème : malgré une forte...
Recevoir une notification en cas d'actualité importante    OK Non merci