Manutenção preditiva, análise de inteligência, simulação de conflitos, ciberdefesa: a IA é hoje uma questão crucial para as forças armadas e um sistema de informação indispensável. Paralelamente, ela introduziu superfícies de ataque inéditas: modelos exploráveis, dados manipuláveis, respostas alteráveis... Para antecipar essas vulnerabilidades e fazer emergir soluções que permitam se opor a elas, o Comando da Ciberdefesa (COMCYBER) e a Agência de Inovação de Defesa (AID) lançaram o desafio "Segurança da IA".
A IA, como sistema de informação, está exposta, vulnerável e potencialmente passível de desvio. Os ataques adversariais, as extrações de informações sensíveis ou a geração de conteúdos maliciosos não são mais hipóteses teóricas, mas vetores de agressão ativos.
Seu desenvolvimento no campo militar exige uma segurança rigorosa, que integre um quadro técnico sólido, uma resiliência algorítmica e um controle operacional aumentado.
O desafio recebeu mais de uma dezena de candidaturas provenientes de laboratórios, startups, PME, ETI ou grandes grupos. Duas se destacaram particularmente: as da PRISM Eval e do CEA-List.
PRISM Eval: testar as falhas comportamentais dos LLMs
Fundada em 2024, a startup parisiense PRISM Eval, especializa-se em red teaming, interpretabilidade comportamental e alinhamento dos sistemas de IA avançados. Ela tem como ambição desenvolver uma compreensão fina dos mecanismos cognitivos dos LLMs para controlar os desvios em grande escala. Essa abordagem científica se materializa na suíte de ferramentas BET (Behavior Elicitation Tool), vencedora do desafio.
Seu primeiro produto, BET Eval, atende diretamente às necessidades de robustez dos LLMs que alimentam ChatGPT, Le Chat ou ainda GenIAl, o assistente IA do Ministério das Forças Armadas. A ferramenta opera como uma bateria de testes de intrusão comportamentais, combinando primitivas de ataques semânticos e contextuais para avaliar:
- a capacidade do modelo de gerar conteúdos maliciosos ou perigosos (toxicidade, incitações);
- sua vulnerabilidade à exfiltração de informações sensíveis;
- a facilidade com que suas salvaguardas podem ser contornadas (injeção de prompts, jailbreak).
CEA-List: assegurar os modelos visuais por meio da verificação e confiança
Por sua vez, o CEA-List visa a segurança dos modelos de classificação visual frente aos ataques por modificação de dados. Aqui, o risco é mais insidioso: uma imagem ligeiramente alterada por um adversário pode levar uma IA a identificar um veículo civil como um veículo hostil — ou vice-versa.
Sua solução baseia-se em duas ferramentas complementares:
- PyRAT, que aplica uma verificação formal às redes neurais. Ele fornece garantias matemáticas contra ataques sutis, como modificações imperceptíveis de pixels destinadas a enganar a classificação automática (uma técnica bem documentada, mas difícil de detectar em tempo real);
- PARTICUL, que calcula uma pontuação de confiança baseada na detecção de regularidades nos conjuntos de dados. Ele permite detectar intrusões mais visíveis (como a adição de patches) medindo o grau de anomalia de uma entrada.
Essas duas ferramentas permitem tratar tanto a montante (robustez formal do modelo) quanto a jusante (confiança operacional nos dados), combinando lógica simbólica e empirismo estatístico.