Pour une intelligence artificielle de confiance au profit de la sécurité

Alors que le rêve de voler figure dans la conscience de tous sous les traits d’Icare, cette figure mythologique qui remonte à la Grèce antique, nous oublions bien souvent que le rêve, de créer une machine qui pense, est tout aussi ancien. Talos ou Pandore peuvent parfaitement être considérées comme les premières représentations de vies artificielles. Ce rêve qui relevait de la mythologie prend forme et peut être vie, aujourd’hui, sous le qualificatif d’intelligence artificielle (IA). C’est en 1956 , lors de la conférence de Darmouth qu’ apparaît ainsi nommée par le mathématicien John Mac Carthy [1] une matière qui a, depuis, connu de nombreux rebondissements. Depuis une dizaine d’années, l’IA connaît un essor considérable dû notamment au développement de nouvelles méthodes (apprentissage profond), à la disponibilité des données toujours plus massives et à la célérité des calculs. Les données et les algorithmes capables de les traiter sont aujourd’hui omniprésents que ce soit dans les domaines de la recherche, de l’industrie, ou de la vie personnelle. Ces données, de plus en plus nombreuses, embrassent une très grande diversité de format allant du tweet à la vidéo. Nous sommes dans l’ère de la donnée massive et souvent non structurée mais aussi non vérifiée, l’ère du Big Data. L’intelligence artificielle apparaît comme un élément stratégique incontournable pour faire face aux défis sécuritaires de demain et s’inscrire dans la dynamique de la transformation numérique engagée au sein de la Gendarmerie nationale. Intégrer l’intelligence artificielle au sein d’une activité aussi diverse et humaine que celle de la sécurité n’est pas sans conséquence et nécessite d’être adaptée au besoin en s’inscrivant en complémentarité de l’action humaine. L’IA, un mystère mathématique, une solution pragmatique Sous le terme générique d’IA se dissimule de nombreuses disciplines, de nombreuses méthodes comme de nombreux champs applicatifs. Il est même possible de se perdre dans le dédale des définitions et des domaines couverts. Parce que les disciplines de l’IA sont pléthoriques, parce que les champs applicatifs sont pratiquement sans limite, parce que les fantasmes n’ont que peu de limites, la compréhension de l’IA passe par ses fondements mathématiques. Si nous prenons la définition communément admise, l’IA est « un ensemble de théories et de techniques mises en œuvre en vue de réaliser des machines capables de simuler l'intelligence humaine ».

Mais simuler l’intelligence humaine, est-ce bien l’ambition de l’IA ? N’est-ce pas plutôt de la dépasser sur certains aspects notamment la célérité de calcul, de traitement et d’exécution et de l’aider sur d’autres aspects comme l’anticipation ou la prise de décision? L’IA doit être perçue comme un amplificateur de l’intelligence humaine développé à partir de méthodes mathématiques auto apprenantes. Elle est donc un agglomérat de méthodes mathématiques qui conviennent plus ou moins à la modélisation du problème posé. La question sous-jacente à l’utilisation de l’IA est donc d’abord mathématique. Il s’agit de savoir comment approximer des données non linéaires dans un espace de grande dimension. Pour accomplir ce « miracle », l’IA fait appel à de nombreuses disciplines : l’analyse harmonique, la morphologie, les statistiques, les probabilités, la théorie de la décision, la géométrie, les systèmes dynamiques...De toutes ces méthodes, la plus pertinente pour éclairer le mystère mathématique qui entoure l’IA est certainement à rechercher du coté de la géométrie par la caractérisation de formes invariantes dans des données communes [4][14]. Mais les mathématiques, à ce jour, ne sont pas parvenues à résoudre le problème de la non linéarité en grande dimension. C’est du coté de l’observation et donc de la physique qu’il a fallu s’orienter pour trouver une solution : l’apprentissage automatique et notamment via sa dernière déclinaison : l’apprentissage profond.

L’apprentissage profond a connu depuis les années cinquante des phases de rebond et d’hibernation pour s’imposer totalement en 2012 lors du concours de reconnaissance d’images « ImageNet ». Avec les réseaux de neurones profonds [2], le champ des possibles semble vertigineux tant les applications apparaissent performantes notamment lorsque les données sont présentes en grand nombre. Le principe de base de ces réseaux pourrait être le principe d’Euclide : « diviser pour régner ». En effet, du perceptron en 1957 aux réseaux de neurones profonds, plus d’un demi-siècle s’est écoulé pour, finalement la mise en pratique du principe euclidien énoncé. Pour simplifier, nous pourrions dire que plus un réseau est profond, plus il y a de couches, plus le problème est réduit ou divisé et plus la solution est généralisable. Il faut néanmoins se prévenir de certaines difficultés comme un sur-apprentissage qui nuirait à la généralisation. Un réseau de neurone est en quelque sorte un compromis entre un biais et une variance. Ce compromis consiste à minimiser simultanément deux sources d'erreurs en déterminant un équilibre entre la performance de la prédiction et la capacité à généraliser au-delà de l’ échantillon d'apprentissage.

Les réseaux de neurones profonds sont particulièrement adaptés à représenter le monde non linéaire dans lequel nous évoluons et surtout à généraliser un modèle appris sur des données inconnues. Ils sont utilisés pour des tâches des plus variées : classifier, segmenter, simuler, anticiper, identifier… La question demeure de savoir pourquoi les réseaux de neurones profonds sont aussi efficaces pour reconnaître un chat dans une image, pour traduire un langage parlé en texte ou encore pour conduire un véhicule. La réponse, aujourd’hui, est que les principes mathématiques fondamentaux sous-jacents et les lois physiques régissant ces différentes applications sont les mêmes notamment après la réduction de l’espace des données et la mise en évidence d’invariants. Les réseaux neuronaux profonds permettent d’atteindre les régularités d’ architectures très complexes.

L’IA est donc avant tout une solution empirique pour faire face à un problème théorique. Elle permet à partir de données observées de construire des modèles qui parviendront à déterminer les structures identifiantes des données. Une éthique à construire pour une IA de confiance Le principe qui gouverne l’IA ne s’explique donc pas totalement de manière théorique. C’est un dispositif complexe qui peut apparaître difficilement lisible et qui satisfait mal à l’exigence de transparence absolue. En effet, l’équation qui lie, les informations entrantes aux prédictions au sein d’un réseau de neurones, est une somme pondérée de fonctions dont les arguments sont eux-mêmes pondérés, bref c’est une équation complexe qui rend particulièrement difficile la compréhension de l’influence d’une variable explicative sur les prédictions du modèle, c’est-à-dire le résultat de la sortie du réseau. Parmi les critiques souvent formulées à l’encontre de l’IA et de son manque de transparence, les biais concentrent certainement les plus grandes inquiétudes.

L’idée de biais est d’emblée sujette à controverse et à contestation quant à l’usage d’algorithmes dans le traitement de certaines fonctionnalités et notamment dans le champ de la sécurité. Il est important d’envisager les biais possibles dans le résultat que peut apporter une machine mais sans omettre que cette notion n’est pas propre à l’algorithme et est même encore plus présente chez l’humain. Les difficultés rencontrées lors de la construction d’algorithmes d’IA sont généralement liées aux conditions d’apprentissage.

Face à cette question de biais, il est difficile de trouver une solution qui ne suscite pas elle-même des interrogations. En général, les biais sont intégrés au sein des données d’entraînement. Une mauvaise représentativité statistique dans les données, dans la taille et la source de l’échantillon, peut conduire l’ algorithme vers un résultat faussé. Mais ce déséquilibre résulte bien souvent de situations réelles. En en ayant connaissance, il est alors aisé de modifier la pondération des données pour en corriger l’équilibre. Pourtant, sur le plan éthique, ce changement dans les données d’apprentissage résulte d’une manipulation et donc d’une déformation de la réalité si les données ont été apprises en toute loyauté. En effet, il s’agit de modifier le réel pour le faire coïncider avec une vision idéalisée de l’objectif recherché. À l'inverse, ne rien faire peut générer des inégalités de traitement. Typiquement lors de la recherche d’un profil idéal de « datascientist », il y a de forte possibilité que le genre masculin soit sur-représenté par rapport au genre féminin car c’est aujourd’hui la réalité de la cartographie des « data-scientists ». Dès lors, le système a plus de chance de proposer un candidat masculin plutôt que féminin. Faut-il ré-équilbrer la base de données en modifiant la réalité pour obtenir un résultat plus équitable ? Cela s’appelle, aussi, introduire un biais. Mais en réalité l’algorithme ne répond pas à la question du candidat idéal mais plutôt à celle du candidat le plus probable au regard des candidats passés. Ni plus, ni moins. L’humain ne doit donc pas non plus se tromper dans ce qu’il attend de l’IA.

La solution d’éliminer les biais est difficile à appréhender et peut être est-il plus raisonnable de considérer avec humilité que nous pouvons dans un souci d’équité remplacer un biais par un autre plutôt que de laisser l’illusion d’une absence de biais. Techniquement, il est aisé de biaiser volontairement les algorithmes pour les mettre au service d’une société plus équitable. L’IA constitue alors une opportunité de traiter les biais par l’injection de nouveaux biais. Elle permet d’intégrer l’équité dans la conception et d’améliorer les pratiques existantes. Il faut ainsi penser l’IA comme un formidable outil au profit de la lutte contre l’iniquité. Elle peut permettre de détecter les discriminations par sa capacité algorithmique à amplifier les biais humains et les compenser en ajustant les données même si celles-ci doivent s’écarter de la réalité. Il s’agira néanmoins de rendre transparent ces biais qui pourraient être qualifiés d’ajustement ou de rééquilibrage. En complément, il est aussi possible de comparer la réponse humaine à celle de systèmes IA sur un nombre de cas avérés afin de déterminer et d’évaluer l’existence comme la force des biais. L’analyse combinée de l’homme et de la machine doit ainsi permettre de révéler les biais et de développer l’esprit critique, humain celui-ci.

Ainsi, l’IA ne devrait pas être perçue comme une arme contre l’éthique humaine mais plutôt comme un vecteur d’amélioration de nos comportements. La solution contre les dérives algorithmiques comme contre les biais humains est peut être aussi à rechercher dans l’introduction de règles éthiques au sein des développements. Gend 20.24, une vision stratégique pour une IA de confiance Forte de ces considérations, la Gendarmerie nationale s’est engagée à travers son plan stratégique Gend 20.24. dans une exploitation de l’IA raisonnée et progressive. L’ensemble du spectre fonctionnel doit permettre d’accroître la sécurité des citoyens, de faire face aux usages malveillants de l’IA, de faciliter les démarches de l’usager, mais aussi d’améliorer le travail du personnel de la gendarmerie. L’IA en gendarmerie selon le leitmotiv du plan Gend 20.24, c’est l’IA pour la population et par le gendarme. Accroître la sécurité de nos citoyens Exploiter le potentiel de l’IA dans le domaine de la sécurité est un atout considérable en s’appuyant sur un cadre éthique assuré pour un meilleur service au citoyen. L’IA doit permettre, là encore, d’ « humaniser » la mission de sécurité et de secours en apportant plus de temps aux acteurs opérationnels pour gérer les questions qui relèvent de l’intelligence humaine. Celle-ci reste fondamentale pour superviser, contextualiser, valider ou rectifier les analyses produites en vue d’une prise de décision. Elle pourrait se voir assister par une IA sur les champs applicatifs suivants :

• faciliter l’accès aux services de secours ;
• anticiper la délinquance ;
• identifier des criminels ;
• détecter des situations à risque ou de crise;
• détecter les fraudes;
• optimiser la réponse à l’urgence…

Lutter contre les usages malveillants L’IA peut également être détournée par des personnes mal-intentionnées dans le domaine cyber ou en matière de falsification par exemple. Combattre les usages malveillants de l’IA par l’IA elle-même est possible autour des applications ci-après :

• détecter des cyber attaques ;
• protéger la propriété intellectuelle ;
• identifier les failles systémiques;
• empêcher les actes malveillants sans trace physique ;
• se protéger contre l’utilisation malveillante des objets connectés ;
• sécuriser l’usage des véhicules autonomes en prévenant les prises de contrôle à distance par exemple ;
• intégrer la sécurité et la protection des libertés dans l’évolution du concept des « smart cities » (villes connectées)...

L’interconnexion des objets et des infrastructures crée un univers numérique porteur de progrès certes mais qui peut aussi attirer la malveillance. Il est indispensable de prendre, par la maîtrise du fonctionnement des processus, toutes les précautions nécessaires à la préservation de la sécurité des individus en prévenant un détournement des usages de l’IA par des tiers. Améliorer la relation et le service à l’usager De nombreuses initiatives dans le domaine numérique ont déjà été lancées dans le cadre du plan de la transformation de la gendarmerie. L’usager des services de la gendarmerie est au cœur des préoccupations de l’institution et l’IA doit permettre d’améliorer cette relation en offrant plus de possibilités et une accessibilité accrue. Le parcours de l’usager doit être fiable et sécure. Pour gagner en qualité de service, l’IA pourra:

• accroître l’accessibilité des services;
• aider à la compréhension des démarches administratives ou judiciaire;
• prioriser les demandes pour une gestion plus adaptée à l’urgence des situations;
• accroître la transparence de l’action;
• accélérer les interventions;
• faciliter les démarches à distance …

Améliorer le travail du personnel de la gendarmerie L’assistance aux personnels de la gendarmerie doit être envisagée au service de l'homme et non l'inverse. Il s’agit d’exploiter l’IA comme un levier pour automatiser des tâches répétitives et permettre aux agents de se concentrer sur des missions nécessitant l'intelligence, la compréhension et le jugement humain. L’IA au service de l’agent concernera les activités dominées par des missions répétitives comme la collecte, le tri, la comparaison, le croisement d’informations, ou encore la planification d’actions. En revanche, dans le cadre d’emplois plus polysémiques où les interactions sociales sont importantes, où la prise de décision est essentielle, l’IA pourra être utilisée en assistance et non en substitution. Il ne s’agit pas de faire disparaître les métiers d’activités routinières pour ne laisser la place qu’à des activités managériales mais bien de transformer et de valoriser progressivement l’ensemble des métiers. Ainsi libéré des tâches « automatisables », le personnel peut se consacrer à des missions à forte valeur ajoutée. Les services rendus par l’IA pourraient alors être :

• classification, analyse et génération automatisée de documents ;
• optimiser la gestion prévisionnelle de l'emploi et des compétences ;
• aider l’agent à progresser dans son parcours de carrière et sa pratique professionnelle;
• maintenir le matériel par anticipation;
• assister dans la réalisation de tâches chronophages et répétitives;
• optimiser la formation continue à distance ...

Et concrètement... Dans le cadre du développement de l’IA, la Gendarmerie nationale a déjà mis en œuvre des cas d’usage opérationnels qui ont fait leur preuve dans le domaine de la reconnaissance de locuteur [7] ou faciale [8][10] [11][12] dans un contexte forensique, de l’aide à la décision dans un contexte de sécurité publique [5][6][13], de la reconnaissance d’images dans un contexte de police judiciaire, de la reconnaissance de texte dans un contexte de ressources humaines. L’objectif est, qu’à travers une démonstration de faisabilité, l’application développée témoigne de sa validité et de sa pertinence. Un effort de publication des méthodes comme des résultats est réalisée guidé par la volonté de transparence de l’institution. À chaque utilisation des systèmes, l’agent reste maître de sa décision, l’IA apportant une aide dans la réalisation de tâches trop complexes ou chronophages. Les cas d’usage ci-après relatifs à une partie des applications de l’IA en Gendarmerie illustrent la nécessaire complémentarité entre l’expertise humaine et l’analyse machine. La reconnaissance de locuteur, un sujet sensible à maîtriser La Gendarmerie nationale exploite l’intelligence artificielle en reconnaissance de locuteur dans le domaine très sensible de l’expertise judiciaire depuis plusieurs années. Elle a fait le choix de la maîtrise en participant à la conception d’outils, à des campagnes d’évaluation internationale [3][9] et en publiant les travaux innovants. La connaissance des méthodes d’IA permet non seulement de maîtriser les conditions d’utilisation d’une reconnaissance automatique mais aussi de pondérer le résultat par le niveau de performance évalué de l’outil. A cette analyse automatique est toujours associée une expertise et une interprétation humaine ce qui permet d’obtenir un résultat enrichi. Anticiper la délinquance pour mieux la prévenir L’analyse prédictive de la délinquance souvent caricaturée et mal interprétée est utilisée en gendarmerie afin de comprendre les variables qui expliquent les évolutions les plus probables de la criminalité et ainsi aider à la conception comme à l’orientation des services. L’application exploite les réseaux de neurones récurrents notamment, en raison de leur adéquation aux séries chronologiques, afin d’évaluer la probabilité d’occurrence de nouveaux faits dans une perspective préventive. Il ne s’agit en aucune façon d’interpeller un individu qui n’a commis aucun fait sur le simple fait qu’il se trouve dans une zone interlope ou de cibler la surveillance d’ individus particuliers. L’analyse repose sur des faits et non sur des personnes et a pour objet d’optimiser le service de la gendarmerie en développant des partenariats, en attirant l’attention des élus, en rendant transparente et objective vis à vis notamment des autorités judiciaires ou administratives, les opérations de contrôle et en orientant l’action des gendarmes en proaction plutôt qu’en réaction. Le chatbot, un interlocuteur à privilégier Dans le domaine des ressources humaines, la gendarmerie utilise un « chatbot » comme interlocuteur privilégié aux interrogations de ses personnels. L’objectif est d’utiliser l'IA pour répondre à des questionnements répétitifs ou qui peuvent se trouver au sein d’un document textuel. Ainsi, le gestionnaire des ressources humaines peut se libérer de tâches pour se consacrer à la conduite d’entretien, à la gestion des parcours de carrière, à mettre plus d’expertise humaine dans le traitement des dossiers.

A ces cas d’usage s’ajoute l’accompagnement par la formation, indispensable au bon usage comme à la compréhension des enjeux de l’IA. Se former pour ne plus craindre La formation est au cœur de la politique de gestion des compétences de la gendarmerie et constitue pour l’intégration de l’IA dans les processus métiers un enjeu fondamental. L’ambition est de former le personnel à utiliser, à conduire ou à développer des applications pour prévenir tout effet de « boite noire » et ainsi :

• comprendre l’interprétation d’un système d’IA c’est-à-dire être capable de comprendre le pourquoi et le comment du résultat. En d’autres termes, il s’agit de d’appréhender la rationalité qui se cache derrière la décision et le comportement du système.
• comprendre la justification à la fois du processus d’implémentation et du résultat c’est-à-dire le bien fondé de l’application. Cela nécessite notamment de vérifier l’aspect non discriminatoire et la loyauté du système.

Pour faire face à ce défi de la formation, la Gendarmerie nationale s’organise pour mettre à disposition du personnel des unités, des cadres intermédiaires comme des cadres dirigeants, des étapes de formation dédiée à l’IA. Avoir connaissance des atouts comme des limites de l’IA constitue le préalable à la nécessaire confiance qui sous-tend son usage. Si l’IA a pour objectif d’accroître l’efficacité de l’action publique, il convient de veiller à se prémunir du risque d’opacité qui découlerait d’une prise de décision sur le fondement de critères mal maîtrisés.

Ainsi, l’engagement de la Gendarmerie nationale dans le domaine de l’IA répond à une triple exigence définie par son plan stratégique Gend 20.24, à savoir une IA de confiance pour une sécurité plus efficace, au profit de la population et mise en œuvre en connaissance par le gendarme. La connaissance des enjeux qu’ils soient soit scientifique, juridique ou éthique est un impératif et impose une formation progressive et étagée pour mieux appréhender une IA dont la place dans nos activités quotidiennes ne cessera de croître.

[1] J. McCarthy, M. L. Minsky, Nathaniel Rochester, and C. E. Shannon, A Proposal for the Dartmouth, Summer Research Project on Artificial Intelligence, 1955
[2] Y. Le Cun, L. Bottou, Y. Bengio, P. Haffner, Gradient-Based Learning Applied to Document Recognition, In Proceedings of the IEEE , 1998
[3] N. Dehak, E. Soto-Sanchez, P. Perrot, G. Chollet “The Becars system” NIST Speaker Recognition, Workshop 2005
[4] S. Mallat Understanding Deep Convolutional Networks Philosophical Royal Soc. A, May 2016
[5] P. Perrot, Forecasting analysis in a criminal intelligence context, Proc.International Crime and Intelligence Analysis Conference 2015
[6] P. Perrot, What about Artificial intelligence in criminal intelligence : from predictive policing to AI perspectives, European Police Science and Research Bulletin, 2017
[7] P. Perrot, G. Chollet, La voix : un atout à l’identification d’individus ? In Proc. Workshop, Interdisciplinaire sur la Sécurité Globale, 2008
[8] P. Perrot, C. Lambert, H. Le Scoarnec, Reconnaissance faciale : la question de la validation en sciences forensiques » – Proc. WISG2009 (Workshop Interdisciplinaire sur la sécurité globale)
[9] P. Perrot, G. Chollet, Becars SRE 2006, Proceedings NIST Speaker Recognition Workshop , Montréal, 2006
[10] P. Perrot, “3D Face reconstruction: a new way to increase face recognition from CCTV images – 5 th European Academy of Forensic Sciences (EAFS) - Glasgow 2009
[11] C. Torres, P. Perrot, Face recognition based on facial composite, In Proc. International Crime Science, Conference, 2008
[12] C. Torres, P. Perrot, Face Recognition: from Biometrics to Forensic applications, Proc. Biometrical Feature Identification and Analysis Conference – Gottingen - Germany 2007
[13] N. Valescant, D. Camara, P. Perrot, Forecasting criminal patterns for decision making, In Revue Radiosciences au service de l’humanité, 2017
[14] J. Zarka, L. Thiry, T. Angles, S. Mallat, Deep Netwwork Classification by Scattering and Homotopy, Dictionary Learning ICLR 2020

Nous tenons à remercier le Colonel Patrick Perrot, PhD, Coordonnateur pour l’intelligence artificielle au sein du Service de la transformation de la Gendarmerie nationale, pour cette tribune publiée en marge du dossier L’intelligence artificielle de confiance : Des systèmes critiques au bien commun, paru dans le numéro 3 du magazine ActuIA actuellement en kiosque et disponible sur abonnement dans notre boutique en ligne.