L'algorithme du Comté d'Allegheny, Pennsylvannie
L'algorithme actuellement utilisé en Oregon s'inspire de celui du Comté d'Allegheny, sur lequel une équipe de l'Université Carnegie Mellon a mené des recherches auxquelles l'AP a eu accès. L'algorithme d'Allegheny a signalé un nombre disproportionné d'enfants noirs pour une enquête de négligence « obligatoire », par rapport aux enfants blancs. Les chercheurs indépendants ont d'ailleurs pu constater que les travailleurs sociaux n'étaient pas d'accord avec 1/3 des scores de risque que l'algorithme produisait. Celui-ci a été entraîné pour prédire le risque qu'un enfant soit placé en famille d'accueil dans les deux ans suivant l'enquête à l'aide de données personnelles détaillées recueillies depuis la naissance, assurance maladie, toxicomanie, santé mentale, séjours en prison et dossiers de probation, entre autres ensembles de données gouvernementales. L'algorithme calcule ensuite un score de risque de 1 à 20 : plus le nombre est élevé, plus le risque est grand. La négligence, pour laquelle cet algorithme a été entraîné, peut inclure de nombreux critères allant du logement inadéquat au manque d'hygiène, mais des outils similaires pourraient être utilisés dans d'autres systèmes de protection de l'enfance avec une intervention humaine minimale ou nulle, de la même façon dont les algorithmes ont été utilisés pour prendre des décisions dans le système de justice pénale aux USA et pourraient ainsi renforcer les disparités raciales existantes dans le système de protection de l'enfance. L'un des membres de l'équipe de recherche a déclaré :« Si l'outil avait agi de lui-même pour dépister un taux d'appels comparable, il aurait recommandé que les deux tiers des enfants noirs fassent l'objet d'une enquête, contre environ la moitié de tous les autres enfants signalés. »
L'abandon de l'algorithme par l'Oregon
Quelques semaines après ces conclusions, le département des services sociaux de l'Oregon a annoncé à son personnel par mail en mai dernier que « Après une "analyse approfondie", les travailleurs de la hotline de l'agence cesseraient d'utiliser l'algorithme fin juin pour réduire les disparités concernant les familles faisant l'objet d'une enquête pour maltraitance et négligence envers les enfants par les services de protection de l'enfance. » Lacey Andresen, directrice de l'agence, a précisé :« Nous nous engageons à améliorer continuellement la qualité et l'équité. »Le sénateur démocrate de l'Oregon Ron Wyden se dit préoccupé par l'utilisation croissante d'outils d'intelligence artificielle dans les services de protection de l'enfance. Il a déclaré dans un communiqué :
« Prendre des décisions sur ce qui devrait arriver aux enfants et aux familles est une tâche bien trop importante pour donner des algorithmes non testés. Je suis heureux que le département des services sociaux de l'Oregon prenne au sérieux les préoccupations que j'ai soulevées concernant les préjugés raciaux et suspende l'utilisation de son outil de dépistage. »
Nos articles remonteront en priorité dans « À la une » de Google.
