Les algorithmes de notation pour les droits sociaux, un sujet particulièrement sensible

L’essor de l’IA, en particulier générative, a ouvert de nouvelles perspectives dans différents secteurs, notamment celui des services publics. Elle peut être une source d’amélioration de la qualité du service rendu avec une réduction des délais de traitement, faciliter le travail des agents publics (gain de temps, aide à la priorisation, valorisation des jeux de données..). Cependant l’opacité des algorithmes, la fameuse “boite noire”, pose la question de l’égalité du contrôle des déclarations lors du traitement des dossiers.

L’IA pour lutter contre la fraude

Si le mois dernier Stanislas GUERINI, alors Ministre de la Transformation et de la Fonction publiques, se félicitait du succès de l’expérimentation de l’IA générative au sein des services publics, le gouvernement n’a pas attendu l’arrivée de cette dernière pour utiliser l’IA au sein de ses services.

Au cours des dix dernières années, la Direction Générale des Finances Publiques (DGFiP), chargée du contrôle fiscal, a ainsi opéré une “révolution technologique” dans sa stratégie de détection des irrégularités fiscales. Initialement axée sur le contrôle triennal des contribuables à revenus et patrimoines élevés, cette stratégie a évolué vers une utilisation intensive de technologies numériques.

Le projet CFVR (ciblage de la fraude et valorisation des requêtes), lancé en 2017, financé par le FTAP (Fonds de Transformation de l’Action Publique) afin d’améliorer “l’efficacité des opérations de contrôle fiscal en rénovant la phase de ciblage des opérations”, lui a permis de poursuivre la modernisation de ses techniques d’analyse grâce à l’IA et d’exploiter les données dont elle dispose avec le data mining, afin d’y repérer les incohérences déclaratives.

Les algorithmes de notation au sein du service public

Près d’un tiers des contrôles fiscaux reposent aujourd’hui sur des analyses de risques alimentées par le traitement massif des données. Au sein de certains organismes publics, comme la Caisse nationale d’allocations familiales (CNAF) qui gère les caisses d’allocations familiales (CAF), ce sont des algorithmes de notation qui vont inciter les agents à effectuer des contrôles.

La Quadrature du Net, une association qui s’oppose au sein du collectif « Stop Contrôles » aux effets de la dématérialisation et de l’utilisation du numérique par les administrations à des fins de contrôle social, a mis en lumière en 2022 l’utilisation d’un algorithme de scoring par la CNAF.

La problématique de cet algorithme est son caractère discriminatoire car il ciblerait en priorité les bénéficiaires les plus fragiles au vu des critères de notation utilisés. L’association qui a obtenu de la Commission d’accès aux documents administratifs (Cada) les codes sources d’une version utilisée entre 2010 et 2014 et ceux de la version suivante utilisée jusqu’en 2018 de l’algorithme et le droit de les publier, révèle les critères qui permettent d’attribuer aux allocataires un score de risque allant de 0 à 1. Plus la note se rapproche de 1, plus la probabilité qu’un individu ait touché des indus augmente, entraînant des contrôles.

Parmi les critères discriminatoires révélés associés à un risque d’abus élevé, on trouve :

  • revenus faibles ;
  • chômage ou le fait ne pas avoir de travail stable ;
  • être un parent isolé ;
  • consacrer une part importante de ses revenus au loyer ;
  • avoir de nombreux contacts avec la CAF.

Le fait d’être en situation de handicap tout en travaillant ferait augmenter le score de “suspicion”, comme le dénomme l’association, tout comme celui d’habiter dans des quartiers défavorisés.

Des algorithmes de notation devraient être déployés dans d’autres institutions publiques comme les impôts, Pôle emploi, la CNAM et la CNAV.

Lutter contre les pratiques discriminatoires liées aux algorithmes

La discrimination dans les algorithmes est un problème sérieux qui peut affecter les droits et renforcer les inégalités. La réglementation et la surveillance appropriées sont nécessaires pour assurer que les décisions basées sur l’IA sont éthiques et respectent les principes fondamentaux de justice et d’égalité.

En 2020, le Défenseur des Droits et la CNIL alertaient sur le manque de transparence des algorithmes et d’information des usagers, recommandant aux pouvoirs publics de mettre en place des mesures afin de lutter efficacement contre les atteintes aux droits fondamentaux. Contrôler la qualité et la représentativité des données utilisées par les algorithmes, ainsi que leur traitement et leur analyse, était l’une de ces recommandations.

Le rapport “IA, impôts et prestations sociales” confié à Sylvie Vermeillet et Didier Rambaud dans le cadre du programme de travail 2024 de la délégation à la prospective du Sénat dont le thème est “L’intelligence artificielle et l’avenir du service public”, pourrait permettre d’identifier des mesures potentielles pour garantir l’éthique et l’égalité des droits.

Recevez gratuitement l'actualité de l'intelligence artificielle

Suivez la Newsletter de référence sur l'intelligence artificielle (+ de 18 000 membres), quotidienne et 100% gratuite.


Tout comme vous, nous n'apprécions pas le spam. Vos coordonnées ne seront transmises à aucun tiers.

1ère Marketplace de l'IA et de la transformation numérique vous recommande :
Plateforme d'optimisation de la planification et de l'ordonnancement de la workforce par DecisionBrain

La plateforme d'optimisation de la planification et de l'ordonnancement de la workforce permet le développement rapide d'applications personnalisées d...

 
Partager l'article
Offre exclusive : 1 an d'abonnement au magazine ActuIA + Le guide pratique d'adoption de l'IA en entreprise pour seulement 27,60€ Boutique ActuIA Pour tout abonnement à ActuIA, recevez en cadeau le Guide Pratique d'Adoption de l'IA en Entreprise, d'une valeur de 23€ !
intelligence artificielle
À PROPOS DE NOUS
Le portail francophone consacré à l'intelligence artificielle et à la datascience, à destination des chercheurs, étudiants, professionnels et passionnés.