Predictive Maintenance, Nachrichtenanalyse, Konfliktsimulation, Cyberverteidigung: KI ist heute ein bedeutendes Thema für die Streitkräfte und ein unverzichtbares Informationssystem. Parallel dazu hat sie neuartige Angriffsflächen eingeführt: ausnutzbare Modelle, manipulierbare Daten, veränderbare Antworten...Um diese Schwachstellen vorherzusehen und Lösungen zu entwickeln, um ihnen entgegenzutreten, haben das Kommando für Cyberverteidigung (COMCYBER) und die Agentur für Verteidigungsinnovation (AID) die Herausforderung "Sicherung der KI" ins Leben gerufen.
Die KI als Informationssystem ist exponiert, verwundbar und potenziell manipulierbar. Adversarielle Angriffe, das Extrahieren sensibler Informationen oder die Erzeugung bösartiger Inhalte sind keine theoretischen Hypothesen mehr, sondern aktive Angriffsvektoren.
Ihr Einsatz im militärischen Bereich erfordert eine strenge Sicherung, die einen soliden technischen Rahmen, algorithmische Resilienz und eine erhöhte operationelle Kontrolle integriert.
Die Herausforderung erhielt mehr als ein Dutzend Bewerbungen von Laboren, Start-ups, KMU, ETI oder großen Konzernen. Zwei stachen besonders hervor: die von PRISM Eval und dem CEA-List.
PRISM Eval: Testen der Verhaltensschwächen von LLMs
Das 2024 gegründete Pariser Start-up PRISM Eval ist auf Red Teaming, Verhaltensinterpretierbarkeit und die Ausrichtung fortschrittlicher KI-Systeme spezialisiert. Es hat das Ziel, ein feines Verständnis der kognitiven Mechanismen von LLMs zu entwickeln, um deren Abweichungen im großen Maßstab zu beherrschen. Dieser wissenschaftliche Ansatz materialisiert sich in der Werkzeugreihe BET (Behavior Elicitation Tool), Gewinner der Herausforderung.
Sein erstes Produkt, BET Eval, richtet sich direkt an die Robustheitsbedürfnisse der LLMs, die ChatGPT, Le Chat und GenIAl, den KI-Assistenten des Verteidigungsministeriums, antreiben. Das Werkzeug fungiert als eine Reihe von Verhaltensintrusionstests, die semantische und kontextuelle Angriffsmethoden kombinieren, um zu bewerten:
- die Fähigkeit des Modells, bösartige oder gefährliche Inhalte zu generieren (Toxizität, Anstiftungen);
- seine Anfälligkeit für die Exfiltration sensibler Informationen;
- die Leichtigkeit, mit der seine Schutzmaßnahmen umgangen werden können (Prompt Injection, Jailbreak).
CEA-List: Sicherung visueller Modelle durch Verifikation und Vertrauen
Das CEA-List konzentriert sich auf die Sicherung visueller Klassifikationsmodelle gegen Datenmodifikationsangriffe. Hier ist das Risiko heimtückischer: Ein leicht verändertes Bild durch einen Gegner kann eine KI dazu bringen, ein ziviles Fahrzeug als feindliches Fahrzeug zu identifizieren — oder umgekehrt.
Seine Lösung basiert auf zwei komplementären Werkzeugen:
- PyRAT, das eine formale Verifikation auf neuronale Netze anwendet. Es bietet mathematische Garantien gegen subtile Angriffe, wie unmerkliche Pixelveränderungen, die die automatische Klassifikation täuschen sollen (eine gut dokumentierte, aber schwer in Echtzeit zu erkennende Technik);
- PARTICUL, das einen Vertrauensscore berechnet, der auf der Erkennung von Regelmäßigkeiten in den Datensätzen basiert. Es ermöglicht, sichtbare Eindringlinge (wie das Hinzufügen von Patches) zu erkennen, indem der Anomaliegrad eines Eingangs gemessen wird.
Diese beiden Werkzeuge ermöglichen es, sowohl den upstream (formale Robustheit des Modells) als auch den downstream (operationelles Vertrauen in die Daten) zu behandeln, indem symbolische Logik und statistischer Empirismus kombiniert werden.