Mantenimiento predictivo, análisis de inteligencia, simulación de conflictos, ciberdefensa: la IA es hoy en día un tema crucial para las fuerzas armadas y un sistema de información indispensable. Paralelamente, ha introducido superficies de ataque inéditas: modelos explotables, datos manipulables, respuestas alterables... Para anticipar estas vulnerabilidades y hacer emerger soluciones que permitan oponerse a ellas, el Comando de Ciberdefensa (COMCYBER) y la Agencia de Innovación de Defensa (AID) lanzaron el desafío "Seguridad de la IA".
La IA, como sistema de información, está expuesta, es vulnerable y potencialmente manipulable. Los ataques adversariales, las extracciones de información sensible o la generación de contenido malicioso ya no son hipótesis teóricas sino vectores de agresión activos.
Su despliegue en el ámbito militar exige una seguridad rigurosa, integrando un marco técnico sólido, una resiliencia algorítmica y un control operativo incrementado.
El desafío recibió más de una decena de candidaturas provenientes de laboratorios, start-ups, pymes, ETI o grandes grupos. Dos se destacaron particularmente: las de PRISM Eval y el CEA-List.
PRISM Eval: probar las fallas de comportamiento de los LLMs
Fundada en 2024, la start-up parisina PRISM Eval, se especializa en el red teaming, la interpretabilidad de comportamiento y la alineación de sistemas de IA avanzados. Tiene como objetivo desarrollar un entendimiento detallado de los mecanismos cognitivos de los LLMs para controlar las desviaciones a gran escala. Este enfoque científico se materializa en la suite de herramientas BET (Behavior Elicitation Tool), ganadora del desafío.
Su primer producto, BET Eval, se dirige directamente a las necesidades de robustez de los LLMs que alimentan ChatGPT, Le Chat o GenIAl, el asistente IA del Ministerio de las Fuerzas Armadas. La herramienta opera como una batería de pruebas de intrusión conductual, combinando primitivas de ataques semánticos y contextuales para evaluar:
- la capacidad del modelo para generar contenido malicioso o peligroso (toxicidad, incitaciones);
- su vulnerabilidad a la exfiltración de información sensible;
- la facilidad con la que sus salvaguardas pueden ser eludidas (inyección de prompt, jailbreak).
CEA-List: asegurar los modelos visuales mediante verificación y confianza
Por su parte, el CEA-List se enfoca en la seguridad de los modelos de clasificación visual frente a los ataques por modificación de datos. Aquí, el riesgo es más insidioso: una imagen ligeramente alterada por un adversario puede llevar a una IA a identificar un vehículo civil como un artefacto hostil —o viceversa.
Su solución se basa en dos herramientas complementarias:
- PyRAT, que aplica una verificación formal a las redes neuronales. Proporciona garantías matemáticas contra ataques sutiles, como modificaciones imperceptibles de píxeles destinadas a engañar a la clasificación automática (una técnica bien documentada pero difícil de detectar en tiempo real);
- PARTICUL, que calcula un puntaje de confianza basado en la detección de regularidades en los conjuntos de datos. Permite detectar intrusiones más visibles (como la adición de parches) midiendo el grado de anomalía de una entrada.
Estas dos herramientas permiten tratar tanto aguas arriba (robustez formal del modelo) como aguas abajo (confianza operativa en el dato), combinando lógica simbólica y empirismo estadístico.