La conférence : « IA et profilages : risques éthiques et juridiques », présentée par Céline Castets-Renard
La conférence aborde tout d'abord quelques enjeux de L'IA et du profilage, présente ensuite des cas d'usages de la reconnaissance faciale au Canada posant problème, aborde celui de Clearview AI et s'intéresse ensuite aux réponses du droit canadien et ses limites, notamment au projet de loi C-27.Les enjeux de l'IA et du profilage
L'intervention de Céline Castets-Renard débute par une présentation des systèmes automatisés décisionnels, leurs usages, leur impact sur la société : prédictions (météo, terrorisme, sécurité...), recommandations, aide à la prise de décision. Ces systèmes, supervisés ou non, entraînés avec des données telles que l'âge, la race... font des classifications aboutissant au profilage, voire à la discrimination. Le 1er enjeu est donc le choix des données.Les données d'apprentissage
Les biais et les discriminations proviennent souvent de données de mauvaise qualité ou en nombre insuffisant. Si certaines sont en sur-représentation, il existe de nombreux cas de sous-représentation comme celui des données sur le féminicide, notamment au Mexique. Céline Castets-Renard cite comme exemple de la justice prédictive l'affaire COMPAS, un score de calcul de récidive par rapport à certaines catégories de population. Celui-ci présentait un même taux d'erreur que ce soit pour les individus noirs ou de type caucasien, mais il n'était pas précisé que ce même taux était en faveur de ces derniers et en défaveur des premiers... Les humains faisant plus confiance aux décisions des machines qu'à leur expertise, ce genre d'erreurs peut avoir une grande incidence. La conférencière a pris un autre exemple de réussite trompeur, celui de la reconnaissance faciale, annoncé aux environs de 85% et présente les travaux de Joy Buolamwini, sur les biais et discrimination de genre et/ou de race dans cette technologie. Ceux-ci ont souligné que les femmes de peau noire étaient sous-représentées dans les données d'apprentissage, ce qui entraînait un taux d'erreur élevé. Dans le cas du système de reconnaissance faciale d'Amazon, le taux de réussite est de 100% pour les hommes blancs et tombe à 68,6% pour les femmes noires.Reconnaissance faciale, authentification et identification
Pour Céline Castets-Renard, la reconnaissance faciale est une technologie intrusive pour les individus. Elle interroge sur le manque de transparence de l'action publique citant le cas de 2 jeunes femmes se disant d'origine somalienne ayant obtenu le statut de réfugiées politiques mais dont le SPR (Section de la Protection des Réfugiés) a invalidé le statut, alléguant que leurs photos offraient une grande similarité avec celles de deux étudiantes kenyanes... Concernant l'identification, elle fait référence au cas d'un autochtone arrêté dans un magasin pour y avoir prétendument volé quelques mois plus tôt. Cet homme aurait été particulièrement surveillée du fait de ses origines.Les réponses du droit
Au Canada, les lois concernant les données privées selon qu'il s'agisse du secteur privé ou du secteur public sont différentes. Pour le secteur privé, la loi C-7 est en projet, réformant la loi PIPEDA de 2000, tandis que pour le secteur public, la loi sur les renseignements personnels datant de 1985 s'applique, ne concernant donc pas les systèmes d'IA. Par contre, une directive sur les systèmes automatisés, visant à évaluer leurs risques, a été adoptée par le Conseil du Trésor. La conférencière pose la question de l'utilisation de la technologie de reconnaissance faciale Clearview AI par d'autres services que ceux de la police, notamment au sein du service d'immigration. Elle souligne le manque de sanctions élevées des autorités à l'encontre de la société par rapport à l'Australie, certains pays européens et la CNIL avant de considérer e manque de transparence des décisions automatisées au sein du service de l'immigration canadien.Nos articles remonteront en priorité dans « À la une » de Google.