Le Centre international de criminologie comparée (CICC), rattaché à l’Université de Montréal et à l’Université du Québec à Trois-Rivières, a organisé avec l’Observatoire des profilages « La saison scientifique du CICC 2022-2023 » qui s’est déroulée du 24 au 28 octobre dernier. Cet évènement a débuté par des conférences dont la thématique était « Intelligence artificielle et profilages ». La conférence « IA et profilages : risques éthiques et juridiques », a été présentée par Céline Castets-Renard, Professeure titulaire à la Faculté de droit civil, à l’Université d’Ottawa où elle est titulaire de la chaire IA responsable à l’échelle mondiale, elle est d’ailleurs également titulaire de la chaire Law au sein d’ANITI (Artificial and Natural Intelligence Toulouse Institute).
Le CICC, né en 1969 d’un partenariat scientifique entre l’Université de Montréal et la Société Internationale de Criminologie, est l’un des plus importants centres de recherche criminologique mondiaux. Outre 63 chercheurs réguliers, il rassemble également 104 collaborateurs provenant du Québec, du Canada mais aussi de l’international. Avec des doctorats en criminologie, psychologie, science politique, droit, sociologie, anthropologie, travail social, histoire, économie, sciences forensiques, biologie et chimie, les chercheurs réguliers et les collaborateurs du CICC cherchent à comprendre, dans une perspective multidisciplinaire, les processus de régulation des comportements criminels, ainsi que les différentes modalités d’intervention déployées par les institutions publiques, privées et communautaires pour y faire face. Le Centre organise régulièrement des débats et des conférences internationales sur les questions criminelles et celles reliées à la sécurité.
Pour cet évènement, il s’est associé à L’Observatoire des profilages (ODP), composé de plus de trente chercheuses et chercheurs, d’une vingtaine de partenaires communautaires et institutionnels ainsi que d’une quarantaine d’étudiant(e)s à la maîtrise et au doctorat. Leurs travaux portent sur les pratiques et expériences de profilages dans les secteurs de la police, de la justice, des services correctionnels, de la protection de la jeunesse, de la santé et des services sociaux, de l’aide sociale et de la migration.
La conférence : « IA et profilages : risques éthiques et juridiques », présentée par Céline Castets-Renard
La conférence aborde tout d’abord quelques enjeux de L’IA et du profilage, présente ensuite des cas d’usages de la reconnaissance faciale au Canada posant problème, aborde celui de Clearview AI et s’intéresse ensuite aux réponses du droit canadien et ses limites, notamment au projet de loi C-27.
Les enjeux de l’IA et du profilage
L’intervention de Céline Castets-Renard débute par une présentation des systèmes automatisés décisionnels, leurs usages, leur impact sur la société : prédictions (météo, terrorisme, sécurité…), recommandations, aide à la prise de décision. Ces systèmes, supervisés ou non, entraînés avec des données telles que l’âge, la race… font des classifications aboutissant au profilage, voire à la discrimination. Le 1er enjeu est donc le choix des données.
Les données d’apprentissage
Les biais et les discriminations proviennent souvent de données de mauvaise qualité ou en nombre insuffisant. Si certaines sont en sur-représentation, il existe de nombreux cas de sous-représentation comme celui des données sur le féminicide, notamment au Mexique.
Céline Castets-Renard cite comme exemple de la justice prédictive l’affaire COMPAS, un score de calcul de récidive par rapport à certaines catégories de population. Celui-ci présentait un même taux d’erreur que ce soit pour les individus noirs ou de type caucasien, mais il n’était pas précisé que ce même taux était en faveur de ces derniers et en défaveur des premiers…
Les humains faisant plus confiance aux décisions des machines qu’à leur expertise, ce genre d’erreurs peut avoir une grande incidence. La conférencière a pris un autre exemple de réussite trompeur, celui de la reconnaissance faciale, annoncé aux environs de 85% et présente les travaux de Joy Buolamwini, sur les biais et discrimination de genre et/ou de race dans cette technologie. Ceux-ci ont souligné que les femmes de peau noire étaient sous-représentées dans les données d’apprentissage, ce qui entraînait un taux d’erreur élevé. Dans le cas du système de reconnaissance faciale d’Amazon, le taux de réussite est de 100% pour les hommes blancs et tombe à 68,6% pour les femmes noires.
Reconnaissance faciale, authentification et identification
Pour Céline Castets-Renard, la reconnaissance faciale est une technologie intrusive pour les individus. Elle interroge sur le manque de transparence de l’action publique citant le cas de 2 jeunes femmes se disant d’origine somalienne ayant obtenu le statut de réfugiées politiques mais dont le SPR (Section de la Protection des Réfugiés) a invalidé le statut, alléguant que leurs photos offraient une grande similarité avec celles de deux étudiantes kenyanes…
Concernant l’identification, elle fait référence au cas d’un autochtone arrêté dans un magasin pour y avoir prétendument volé quelques mois plus tôt. Cet homme aurait été particulièrement surveillée du fait de ses origines.
Les réponses du droit
Au Canada, les lois concernant les données privées selon qu’il s’agisse du secteur privé ou du secteur public sont différentes. Pour le secteur privé, la loi C-7 est en projet, réformant la loi PIPEDA de 2000, tandis que pour le secteur public, la loi sur les renseignements personnels datant de 1985 s’applique, ne concernant donc pas les systèmes d’IA. Par contre, une directive sur les systèmes automatisés, visant à évaluer leurs risques, a été adoptée par le Conseil du Trésor.
La conférencière pose la question de l’utilisation de la technologie de reconnaissance faciale Clearview AI par d’autres services que ceux de la police, notamment au sein du service d’immigration. Elle souligne le manque de sanctions élevées des autorités à l’encontre de la société par rapport à l’Australie, certains pays européens et la CNIL avant de considérer e manque de transparence des décisions automatisées au sein du service de l’immigration canadien.
