Il 16 settembre 2026, a Sciences Po, Yann LeCun evoca James Bond per definire uno scenario di attacco informatico massiccio condotto da agenti di IA. I difensori dispongono, a suo avviso, di tecnologie e competenze superiori. Afferma che l'arrivo degli agenti avvantaggia la difesa. Aggiunge che attacchi e difese diventano più sofisticati, senza vedere un chiaro cambiamento del loro equilibrio. Sul rischio biologico, richiama i mezzi necessari per fabbricare un agente patogeno, poi le motivazioni degli specialisti: avrebbero prospettive migliori che lavorare a un virus in grado di ucciderli.

In queste risposte, il suo ottimismo tecnologico poggia anche sulla fiducia nell'essere umano. Eppure attori competenti e ben intenzionati possono, insieme, lasciare che si verifichi una catastrofe. LeCun lavora effettivamente sulla sicurezza dei sistemi. La questione che resta aperta riguarda l'affidabilità delle decisioni umane e delle organizzazioni incaricate di farla funzionare, in circostanze che talvolta avranno previsto male.

Protezioni tecniche, ipotesi sui comportamenti

Questa fiducia è esplicita. Nella sua intervista con Lex Fridman pubblicata nel marzo 2024, LeCun dice di pensare che le persone siano «fondamentalmente buone», secondo la nostra traduzione, e collega il pessimismo sull'IA alla sfiducia verso le persone o le istituzioni. In un'intervista a The Hub nel 2023, sosteneva già che gli attori ben intenzionati avrebbero disposto di più mezzi e che gli utenti avrebbero rifiutato le macchine pericolose. Se la tecnologia prendesse una cattiva direzione, «ci fermiamo, semplicemente», spiegava.

LeCun propone anche risposte ingegneristiche. Con Lex Fridman, descrive un'IA guidata da obiettivi che incorporano salvaguardie, riconosce che si verificheranno comportamenti imprevisti e prevede un miglioramento progressivo delle protezioni. Il resoconto del suo incontro all'INSEAD, pubblicato il 14 settembre 2026, riprende questa ambizione: anticipare le conseguenze delle azioni grazie a modelli del mondo e integrare vincoli nel processo decisionale. Su Fortune il 1° ottobre, attribuisce gli incidenti a difetti di progettazione e di supervisione, ritenuti evitabili.

Queste ricerche danno una base tecnica al suo ottimismo. Lasciano aperte le condizioni collettive del loro successo. Un utente può volere uno strumento utile senza conoscerne i pericoli. Una direzione aziendale può esitare a interrompere un'attività. Più team possono condividere un'ipotesi errata. Il problema inizia ben prima della malevolenza: a volte basta che ciascuno si fidi di una protezione di cui nessuno ha verificato i limiti.

Una catastrofe non ha bisogno di minacciare l'umanità

La storia industriale offre una scala di gravità diversa dall'estinzione. L'esplosione dell'AZF, a Tolosa nel 2001, ha colpito una città ben oltre lo stabilimento. Gli studi di sanità pubblica ne documentano le conseguenze sulla salute e sulla vita personale, familiare e professionale degli abitanti. Un incidente locale può produrre danni duraturi, che vanno ben oltre il perimetro dell'organizzazione che lo ha originato.

A Fukushima, l'analisi dei fattori umani e organizzativi condotta per il rapporto dell'AIEA descrive come gli attori coinvolti abbiano rafforzato reciprocamente i propri presupposti sulla sicurezza. Queste convinzioni condivise hanno ostacolato un'adeguata preparazione all'incidente del marzo 2011. La fiducia nel sistema faceva essa stessa parte del problema.

Questi precedenti non misurano il rischio dell'IA. Ricordano quanto può costare una carenza di previsione, anche in settori in cui lavorano specialisti della sicurezza. Man mano che l'IA si diffonde, occorre partire dal presupposto che si verificheranno incidenti gravi e cercare di ridurne tanto la probabilità quanto la portata. La capacità di correggere in seguito non risponde, da sola, alla questione dei danni subiti nel frattempo.

Gli incidenti recenti, i cui danni accertati restano limitati, mostrano già scarti tra le protezioni previste e il loro funzionamento. I nostri articoli sulla riclassificazione degli incidenti di Anthropic e su sei rapporti di OpenAI descrivono in dettaglio questi meccanismi. Avvenuti durante addestramenti o valutazioni, non consentono di dedurre un tasso di rischio in produzione. Mostrano che progettare una regola, applicarla e rilevarne l'aggiramento sono tre compiti distinti.

Secondo un'inchiesta della CNN pubblicata il 18 settembre 2026, l'esercito statunitense sarebbe stato sul punto di intercettare, in primavera, una nave cinese in Medio Oriente sulla base di un rapporto assistito dall'IA che identificava erroneamente il suo carico come legato a un programma di armi nucleari. L'operazione sarebbe stata annullata dopo una verifica. Il racconto si basa su quattro fonti anonime; il Pentagono non aveva risposto alla CNN. Il meccanismo descritto è quello di un'informazione errata inserita in una catena decisionale umana.

La superiorità dei difensori non protegge tutti

La malevolenza aggiunge un'ulteriore difficoltà. Gli attentati dell'11 settembre, che rientrano in un attacco deliberato e non in un incidente industriale, hanno contrapposto mezzi profondamente diseguali. La commissione d'inchiesta statunitense sottolinea la sproporzione tra le risorse del gruppo terroristico e quelle del Paese colpito. Rileva carenze di previsione, di politica, di capacità e di gestione.

Le loro conseguenze sono andate oltre le distruzioni immediate: la risposta della NATO ne ha in particolare trasformato le missioni e le capacità. La superiorità materiale dei difensori non garantiva la protezione contro un attacco di vasta portata e i suoi effetti a cascata.

Questa superiorità è inoltre distribuita in modo diseguale. Nella sua valutazione pubblicata nel maggio 2025, il NCSC britannico prevedeva una frattura tra i sistemi in grado di tenere il passo con le minacce potenziate dall'IA e un'ampia parte di sistemi più vulnerabili. I mezzi dei migliori laboratori o delle grandi potenze non descrivono quindi la protezione effettiva di tutte le imprese e istituzioni.

La sicurezza si costruisce anche nelle istituzioni

L'analogia aeronautica spesso impiegata da LeCun è illuminante. Rendere i motori più affidabili ha richiesto un considerevole lavoro di ingegneria. Ma la storia della sicurezza aerea comprende anche la certificazione, il controllo del traffico e le indagini sugli incidenti. La collisione del Grand Canyon, nel 1956, ha rivelato l'insufficienza della prevenzione delle collisioni nonostante la crescita del traffico. Due anni dopo, gli Stati Uniti creavano una nuova agenzia federale indipendente incaricata della sicurezza dell'aviazione civile.

Il controllo del rischio si è dunque costruito su più livelli. Dispositivi collettivi hanno organizzato la circolazione delle informazioni, il controllo e l'intervento. Questa storia avvalora la possibilità di un progresso tecnico più sicuro. Mostra anche il lavoro istituzionale necessario e il prezzo pagato quando le protezioni restano insufficienti.

LeCun stesso riconosce un ruolo a queste istituzioni. A Sciences Po, sostiene test indipendenti per l'assistenza alla guida e un'autorizzazione all'immissione in commercio per l'analisi delle mammografie. Ritiene tuttavia che le normative esistenti siano generalmente sufficienti e respinge, allo stato attuale dell'IA, l'idea di un pericolo intrinseco tale da giustificare una regolamentazione della ricerca.

Il punto da esaminare è quindi preciso: questi quadri e i loro strumenti di controllo copriranno effettivamente i nuovi usi? Chi può verificare le protezioni, accedere alle tracce di un incidente, avvisare i terzi interessati e imporre una correzione? Queste capacità devono poter essere esaminate indipendentemente dalla fiducia accordata agli sviluppatori. La nostra inchiesta sulla governance di Anthropic poneva già questa difficoltà: condividere un'intenzione di prudenza e disporre del potere di farla rispettare sono due cose diverse.

Distinguere le minacce, organizzare la prevenzione

Il dibattito pubblico si è polarizzato attorno a scenari di estinzione. In un estratto di intervista pubblicato da BBC Newsnight il 10 settembre 2026, Geoffrey Hinton giudica «non irragionevole» una stima del 10% di rischio che l'IA uccida tutti gli esseri umani entro dieci anni. Si tratta della sua valutazione del rischio. A Sciences Po, LeCun insiste invece sulla superiorità dei difensori e liquida con un gesto della mano gli scenari alla James Bond. Questa parte della sua risposta, che resta sullo stesso piano dei suoi oppositori, dà al dibattito una lettura manichea, in cui la sicurezza dipende dal vantaggio degli attori ben intenzionati sui loro avversari.

L'11 settembre ricorda che mezzi superiori non bastano a impedire un attacco di vasta portata, le cui conseguenze possono andare ben oltre le distruzioni immediate. Ma la prevenzione del terrorismo e quella degli incidenti industriali richiedono analisi distinte, anche se alcune protezioni si sovrappongono. Un errore di progettazione, un'istruzione ambigua o un difetto di coordinamento possono provocare danni senza che alcun attore abbia cercato di nuocere.

LeCun riconosce questi fallimenti e lavora alla loro prevenzione. Definirli evitabili lascia tuttavia del tutto aperta la questione delle condizioni reali di tale prevenzione. Diventa necessario parlare apertamente degli incidenti industriali gravi che l'IA potrebbe provocare o amplificare, valutarne la probabilità e la portata a seconda degli usi, ed esplicitare le incertezze. Sviluppatori, imprese utilizzatrici e autorità pubbliche devono condividere gli insegnamenti tratti dagli incidenti e decidere insieme i mezzi di protezione.

Frenare lo sviluppo dell'IA non basterebbe: altri continuerebbero ad avanzare. I suoi benefici giustificano il proseguimento delle ricerche e degli usi, con protezioni la cui efficacia possa essere verificata. Test indipendenti, limitazione degli accessi, separazione dei sistemi e procedure di intervento devono ridurre la probabilità degli incidenti e contenerne le conseguenze. Ciò presuppone budget, responsabilità identificate e il potere effettivo di interrompere un'operazione. Chi riceve l'allerta, chi decide l'arresto e chi avvisa le persone esposte?

Esistono già dei dispositivi, con perimetri e gradi di vincolo diversi, ma sono ancora insufficienti. La nostra panoramica sulla regolamentazione dell'IA mette a confronto le iniziative internazionali, le leggi nazionali e il loro stato di attuazione.