Maintenance prédictive, analyse de renseignement, simulation de conflits, cyberdéfense : l'IA est aujourd'hui un enjeu majeur pour les forces armées et un système d’information indispensable. Parallèlement, elle a introduit des surfaces d’attaque inédites : modèles exploitables, données manipulables, réponses altérables...Pour anticiper ces vulnérabilités et faire émerger des solutions permettant de s’y opposer, le Commandement de la cyberdéfense (COMCYBER) et l’Agence de l’innovation de Défense (AID) ont lancé le défi "Sécurisation de l’IA".
L'IA, en tant que système d'information, est exposée,vulnérable, et potentiellement détournable. Les attaques adversariales, les extractions d’informations sensibles ou la génération de contenus malveillants ne sont plus des hypothèses théoriques mais des vecteurs d’agression actifs.
Son déploiement dans le domaine militaire exige une sécurisation rigoureuse, intégrant un cadre technique solide, une résilience algorithmique et un contrôle opérationnel accru.
Le défi a reçu plus d’une dizaine de candidatures provenant de laboratoires, start-ups, PME, ETI ou grands groupes. Deux se sont particulièrement distinguées : celles de PRISM Eval et du CEA-List.
PRISM Eval : tester les failles comportementales des LLMs
Fondée en 2024, la start-up parisienne PRISM Eval, se spécialise dans le red teaming, l’interprétabilité comportementale et l’alignement des systèmes d’IA avancés. Elle a pour ambition de développer une compréhension fine des mécanismes cognitifs des LLMs pour en maîtriser les dérives à grande échelle. Cette approche scientifique se matérialise dans la suite d’outils BET (Behavior Elicitation Tool), lauréate du défi.
Son premier produit, BET Eval, s’adresse directement aux besoins de robustesse des LLMs qui alimentent ChatGPT, Le Chat ou encore GenIAl, l’assistant IA du ministère des Armées. L’outil opère comme une batterie de tests d’intrusion comportementaux, combinant des primitives d’attaques sémantiques et contextuelles pour évaluer :
-
la capacité du modèle à générer des contenus malveillants ou dangereux (toxicity, incitations) ;
-
sa vulnérabilité à l’exfiltration d’informations sensibles ;
-
la facilité avec laquelle ses garde-fous peuvent être contournés (prompt injection, jailbreak).
CEA-List : sécuriser les modèles visuels par la vérification et la confiance
De son côté, le CEA-List cible la sécurisation des modèles de classification visuelle face aux attaques par modification de données. Ici, le risque est plus insidieux : une image légèrement altérée par un adversaire peut conduire une IA à identifier un véhicule civil comme un engin hostile — ou inversement.
Sa solution repose sur deux outils complémentaires :
-
PyRAT, qui applique une vérification formelle aux réseaux de neurones. Il fournit des garanties mathématiques contre les attaques subtiles, comme des modifications imperceptibles de pixels destinées à tromper la classification automatique (une technique bien documentée mais difficile à détecter en temps réel) ;
-
PARTICUL, qui calcule un score de confiance basé sur la détection de régularités dans les jeux de données. Il permet de détecter des intrusions plus visibles (comme l’ajout de patchs) en mesurant le degré d’anomalie d’une entrée.
Ces deux outils permettent de traiter à la fois l’amont (robustesse formelle du modèle) et l’aval (confiance opérationnelle dans la donnée), en combinant logique symbolique et empirisme statistique.