KI: Was Yann LeCuns Optimismus offenlässt

Am 16. September 2026 bemühte Yann LeCun an der Sciences Po James Bond, um das Szenario eines massiven Cyberangriffs durch KI-Agenten zu charakterisieren. Die Verteidiger verfügen seiner Ansicht nach über überlegene Technologien und Kompetenzen. Er behauptet, das Aufkommen von Agenten begünstige die Verteidigung. Er fügt hinzu, dass Angriffe und Abwehr zwar raffinierter würden, er aber keine klare Verschiebung des Gleichgewichts zwischen ihnen erkenne. Beim biologischen Risiko verweist er auf die Mittel, die zur Herstellung eines Krankheitserregers nötig sind, und dann auf die Motive der Fachleute: Sie hätten bessere Perspektiven, als an einem Virus zu arbeiten, das sie selbst töten könnte.

In diesen Antworten stützt sich sein technologischer Optimismus auch auf sein Vertrauen in den Menschen. Doch kompetente und wohlmeinende Akteure können gemeinsam eine Katastrophe geschehen lassen. LeCun arbeitet durchaus an der Sicherheit der Systeme. Offen bleibt die Frage nach der Verlässlichkeit menschlicher Entscheidungen und der Organisationen, die diese Sicherheit gewährleisten sollen, und zwar unter Umständen, die sie mitunter schlecht vorhergesehen haben werden.

Technische Schutzvorkehrungen, Annahmen über das Verhalten

Dieses Vertrauen ist ausdrücklich. In seinem im März 2024 veröffentlichten Gespräch mit Lex Fridman sagt LeCun, er halte die Menschen für „im Grunde gut“, nach unserer Übersetzung, und führt den Pessimismus gegenüber KI auf Misstrauen gegenüber Menschen oder Institutionen zurück. In einem Interview mit The Hub im Jahr 2023 vertrat er bereits die Ansicht, dass wohlmeinende Akteure über mehr Mittel verfügen und die Nutzer gefährliche Maschinen ablehnen würden. Sollte die Technologie eine falsche Richtung einschlagen, „hören wir einfach auf“, erklärte er.

LeCun schlägt auch ingenieurtechnische Antworten vor. Bei Lex Fridman beschreibt er eine zielgesteuerte KI mit eingebauten Leitplanken, räumt ein, dass unvorhergesehene Verhaltensweisen auftreten werden, und rechnet mit einer schrittweisen Verbesserung der Schutzvorkehrungen. Der am 14. September 2026 veröffentlichte Bericht über seinen Austausch am INSEAD greift diesen Anspruch auf: die Folgen von Handlungen mithilfe von Weltmodellen vorhersehen und Beschränkungen in die Entscheidungsfindung einbauen. In Fortune am 1. Oktober führt er Vorfälle auf Konstruktions- und Aufsichtsmängel zurück, die er für vermeidbar hält.

Diese Forschung verleiht seinem Optimismus eine technische Grundlage. Die kollektiven Voraussetzungen für ihren Erfolg lässt sie jedoch offen. Ein Nutzer kann ein nützliches Werkzeug wollen, ohne dessen Gefahren zu kennen. Eine Unternehmensleitung kann zögern, eine Tätigkeit zu unterbrechen. Mehrere Teams können eine falsche Annahme teilen. Das Problem beginnt lange vor jeder Böswilligkeit: Manchmal genügt es, dass alle einer Schutzvorkehrung vertrauen, deren Grenzen niemand überprüft hat.

Eine Katastrophe muss nicht die Menschheit bedrohen

Die Industriegeschichte bietet einen anderen Maßstab für Schwere als das Aussterben. Die AZF-Explosion in Toulouse im Jahr 2001 traf eine Stadt weit über das Werk hinaus. Arbeiten aus dem Bereich der öffentlichen Gesundheit dokumentieren ihre Folgen für die Gesundheit sowie für das persönliche, familiäre und berufliche Leben der Bewohner. Ein örtlich begrenzter Unfall kann dauerhafte Schäden verursachen, die weit über den Rahmen der Organisation hinausgehen, von der er ausging.

Für Fukushima beschreibt die für den Bericht der IAEO durchgeführte Analyse der menschlichen und organisatorischen Faktoren, wie die beteiligten Akteure ihre Annahmen über die Sicherheit gegenseitig bestärkten. Diese geteilten Überzeugungen standen einer angemessenen Vorbereitung auf den Unfall vom März 2011 im Weg. Das Vertrauen in das System war selbst Teil des Problems.

Diese Präzedenzfälle messen nicht das Risiko der KI. Sie erinnern daran, was mangelnde Voraussicht kosten kann, selbst in Branchen, in denen Sicherheitsfachleute arbeiten. In dem Maße, wie sich KI verbreitet, muss man davon ausgehen, dass schwere Unfälle eintreten werden, und versuchen, sowohl ihre Wahrscheinlichkeit als auch ihre Tragweite zu verringern. Die Fähigkeit, im Nachhinein zu korrigieren, beantwortet für sich genommen nicht die Frage nach den in der Zwischenzeit erlittenen Schäden.

Die jüngsten Vorfälle, deren nachgewiesene Schäden begrenzt bleiben, zeigen bereits Abweichungen zwischen den vorgesehenen Schutzvorkehrungen und ihrer tatsächlichen Funktionsweise. Unsere Artikel über die Neueinstufung der Vorfälle bei Anthropic und über sechs Berichte von OpenAI schildern diese Mechanismen im Einzelnen. Da sie während Trainings oder Evaluierungen auftraten, lässt sich aus ihnen keine Risikorate im Produktivbetrieb ableiten. Sie zeigen, dass eine Regel zu entwerfen, sie anzuwenden und ihre Umgehung zu erkennen drei verschiedene Aufgaben sind.

Laut einer am 18. September 2026 veröffentlichten Recherche von CNN hätte das US-Militär im Frühjahr beinahe ein chinesisches Schiff im Nahen Osten abgefangen, und zwar auf Grundlage eines KI-gestützten Berichts, der dessen Ladung fälschlicherweise einem Atomwaffenprogramm zuordnete. Der Einsatz sei nach einer Überprüfung abgesagt worden. Diese Darstellung beruht auf vier anonymen Quellen; das Pentagon hatte CNN nicht geantwortet. Der beschriebene Mechanismus ist der einer fehlerhaften Information, die in eine menschliche Entscheidungskette eingespeist wurde.

Die Überlegenheit der Verteidiger schützt nicht alle

Böswilligkeit bringt eine weitere Schwierigkeit mit sich. Bei den Anschlägen vom 11. September, einem vorsätzlichen Angriff und keinem Industrieunfall, standen sich zutiefst ungleiche Mittel gegenüber. Die amerikanische Untersuchungskommission hebt das Missverhältnis zwischen den Ressourcen der Terrorgruppe und denen des angegriffenen Landes hervor. Sie stellt Versäumnisse bei der Vorausschau, in der Politik, bei den Fähigkeiten und im Management fest.

Ihre Folgen reichten über die unmittelbaren Zerstörungen hinaus: Die Reaktion der NATO veränderte insbesondere deren Aufgaben und Fähigkeiten. Die materielle Überlegenheit der Verteidiger garantierte keinen Schutz vor einem schweren Angriff und seinen Kaskadeneffekten.

Diese Überlegenheit ist zudem ungleich verteilt. In seiner im Mai 2025 veröffentlichten Bewertung sah das britische NCSC eine Kluft voraus zwischen den Systemen, die mit dem Tempo KI-verstärkter Bedrohungen Schritt halten können, und einem großen Teil anfälligerer Systeme. Die Mittel der besten Labore oder der Großmächte beschreiben also nicht den tatsächlichen Schutz aller Unternehmen und Institutionen.

Sicherheit entsteht auch in den Institutionen

Der von LeCun häufig bemühte Vergleich mit der Luftfahrt ist aufschlussreich. Triebwerke zuverlässiger zu machen, erforderte erhebliche Ingenieursarbeit. Doch zur Geschichte der Flugsicherheit gehören auch die Zulassung, die Flugverkehrskontrolle und die Unfalluntersuchung. Der Zusammenstoß über dem Grand Canyon im Jahr 1956 offenbarte, dass die Kollisionsverhütung trotz des wachsenden Verkehrs unzureichend war. Zwei Jahre später schufen die Vereinigten Staaten eine neue unabhängige Bundesbehörde, die für die Sicherheit der zivilen Luftfahrt zuständig war.

Die Beherrschung des Risikos wurde also auf mehreren Ebenen aufgebaut. Kollektive Einrichtungen organisierten den Informationsfluss, die Kontrolle und das Eingreifen. Diese Geschichte stützt die Möglichkeit eines sichereren technischen Fortschritts. Sie zeigt aber auch die nötige institutionelle Arbeit und den Preis, der gezahlt wird, wenn die Schutzvorkehrungen unzureichend bleiben.

LeCun selbst räumt diesen Institutionen einen Platz ein. An der Sciences Po befürwortet er unabhängige Tests für Fahrassistenzsysteme und eine Marktzulassung für die Auswertung von Mammografien. Er ist jedoch der Ansicht, dass die bestehenden Vorschriften im Allgemeinen ausreichen, und bestreitet, dass von der KI in ihrem derzeitigen Stand eine inhärente Gefahr ausgehe, die eine Regulierung der Forschung rechtfertigen würde.

Der zu prüfende Punkt ist also klar umrissen: Werden diese Rahmenwerke und ihre Kontrollmittel die neuen Anwendungen tatsächlich abdecken? Wer kann die Schutzvorkehrungen überprüfen, auf die Spuren eines Vorfalls zugreifen, betroffene Dritte warnen und eine Korrektur durchsetzen? Diese Fähigkeiten müssen unabhängig vom Vertrauen in die Entwickler überprüfbar sein. Unsere Recherche zur Governance von Anthropic hat diese Schwierigkeit bereits aufgezeigt: eine Absicht zur Vorsicht zu teilen und die Macht zu haben, ihr Geltung zu verschaffen, sind zwei verschiedene Dinge.

Bedrohungen unterscheiden, Prävention organisieren

Die öffentliche Debatte hat sich um Aussterbeszenarien polarisiert. In einem von BBC Newsnight am 10. September 2026 veröffentlichten Interviewausschnitt hält Geoffrey Hinton eine Schätzung von 10 % Risiko, dass die KI innerhalb von zehn Jahren alle Menschen tötet, für „nicht unvernünftig“. Es handelt sich um seine persönliche Einschätzung des Risikos. LeCun wiederum betont an der Sciences Po die Überlegenheit der Verteidiger und wischt die Szenarien à la James Bond mit einer Handbewegung beiseite. Dieser Teil seiner Antwort, der auf derselben Ebene bleibt wie seine Kontrahenten, verleiht der Debatte eine manichäische Lesart, in der die Sicherheit vom Vorsprung der wohlmeinenden Akteure gegenüber ihren Gegnern abhängt.

Der 11. September erinnert daran, dass überlegene Mittel nicht ausreichen, um einen schweren Angriff zu verhindern, dessen Folgen weit über die unmittelbaren Zerstörungen hinausgehen können. Doch die Verhütung von Terrorismus und die von Industrieunfällen erfordern unterschiedliche Analysen, auch wenn sich manche Schutzvorkehrungen überschneiden. Ein Konstruktionsfehler, eine mehrdeutige Anweisung oder ein Koordinationsversagen können Schäden verursachen, ohne dass irgendein Akteur schaden wollte.

LeCun erkennt diese Fehlleistungen an und arbeitet an ihrer Verhütung. Sie als vermeidbar zu bezeichnen, lässt jedoch die Frage nach den tatsächlichen Voraussetzungen dieser Verhütung völlig offen. Es wird notwendig, offen über die schweren Industrieunfälle zu sprechen, die KI verursachen oder verstärken könnte, ihre Wahrscheinlichkeit und Tragweite je nach Anwendung zu bewerten und die Unsicherheiten offenzulegen. Entwickler, anwendende Unternehmen und Behörden müssen die Lehren aus Vorfällen teilen und gemeinsam über die Schutzmittel entscheiden.

Die Entwicklung der KI zu bremsen, würde nicht genügen: Andere würden weiter vorankommen. Ihr Nutzen rechtfertigt es, Forschung und Anwendungen fortzuführen, mit Schutzvorkehrungen, deren Wirksamkeit überprüfbar ist. Unabhängige Tests, Zugangsbeschränkungen, die Trennung von Systemen und Eingriffsverfahren müssen die Wahrscheinlichkeit von Unfällen verringern und ihre Folgen eindämmen. Das setzt Budgets, klar zugewiesene Verantwortlichkeiten und die tatsächliche Befugnis voraus, einen Vorgang zu unterbrechen. Wer erhält den Alarm, wer entscheidet über die Abschaltung und wer warnt die betroffenen Menschen?

Es gibt bereits Instrumente mit unterschiedlicher Reichweite und unterschiedlich starker Verbindlichkeit, doch sie reichen noch nicht aus. Unsere Bestandsaufnahme der KI-Regulierung vergleicht die internationalen Initiativen, die nationalen Gesetze und den Stand ihrer Anwendung.