El 16 de septiembre de 2026, en Sciences Po, Yann LeCun evoca a James Bond para calificar un escenario de ciberataque masivo perpetrado por agentes de IA. Según él, los defensores disponen de tecnologías y competencias superiores. Afirma que la llegada de los agentes favorece a la defensa. Añade que los ataques y las defensas se vuelven más sofisticados, sin que vea un cambio claro en su equilibrio. Sobre el riesgo biológico, invoca los medios necesarios para fabricar un agente patógeno y, después, las motivaciones de los especialistas: tendrían mejores perspectivas que trabajar en un virus capaz de matarlos.

En estas respuestas, su optimismo tecnológico se apoya también en su confianza en el ser humano. Sin embargo, actores competentes y bienintencionados pueden, en conjunto, dejar que se produzca una catástrofe. LeCun trabaja, en efecto, en la seguridad de los sistemas. La cuestión que sigue abierta se refiere a la fiabilidad de las decisiones humanas y de las organizaciones encargadas de hacerla funcionar, en circunstancias que a veces habrán previsto mal.

Protecciones técnicas, hipótesis sobre los comportamientos

Esta confianza es explícita. En su entrevista con Lex Fridman publicada en marzo de 2024, LeCun dice creer que las personas son «fundamentalmente buenas», según nuestra traducción, y relaciona el pesimismo sobre la IA con la desconfianza hacia las personas o las instituciones. En una entrevista con The Hub en 2023, ya sostenía que los actores bienintencionados dispondrían de más medios y que los usuarios rechazarían las máquinas peligrosas. Si la tecnología tomara un mal rumbo, «simplemente paramos», explicaba.

LeCun propone también respuestas de ingeniería. Con Lex Fridman, describe una IA guiada por objetivos que integra salvaguardas, reconoce que se producirán comportamientos imprevistos y prevé una mejora progresiva de las protecciones. La reseña de su conversación en el INSEAD, publicada el 14 de septiembre de 2026, retoma esta ambición: anticipar las consecuencias de las acciones gracias a modelos del mundo e integrar restricciones en la toma de decisiones. En Fortune, el 1 de octubre, atribuye los incidentes a defectos de diseño y de supervisión, que considera evitables.

Estas investigaciones dan una base técnica a su optimismo. Dejan abiertas las condiciones colectivas de su éxito. Un usuario puede querer una herramienta útil sin conocer sus peligros. Una dirección puede dudar en interrumpir una actividad. Varios equipos pueden compartir una hipótesis errónea. El problema empieza mucho antes de la malicia: a veces basta con que cada uno confíe en una protección cuyos límites nadie ha verificado.

Una catástrofe no necesita amenazar a la humanidad

La historia industrial ofrece una escala de gravedad distinta de la extinción. La explosión de AZF, en Toulouse en 2001, afectó a una ciudad mucho más allá de la fábrica. Los trabajos de salud pública documentan sus consecuencias sobre la salud y sobre la vida personal, familiar y profesional de los habitantes. Un accidente local puede causar daños duraderos que superan con creces el perímetro de la organización en la que se originó.

En Fukushima, el análisis de los factores humanos y organizativos realizado para el informe del OIEA describe cómo los actores implicados reforzaron mutuamente sus presupuestos sobre la seguridad. Estas convicciones compartidas impidieron una preparación adecuada para el accidente de marzo de 2011. La propia confianza en el sistema formaba parte del problema.

Estos precedentes no miden el riesgo de la IA. Recuerdan lo que puede costar una falta de anticipación, incluso en sectores en los que trabajan especialistas en seguridad. A medida que la IA se difunde, hay que partir del principio de que se producirán accidentes graves y tratar de reducir tanto su probabilidad como su alcance. La capacidad de corregir después no responde, por sí sola, a la cuestión de los daños sufridos mientras tanto.

Los incidentes recientes, cuyos daños comprobados siguen siendo limitados, ya muestran desfases entre las protecciones previstas y su funcionamiento. Nuestros artículos sobre la recalificación de los incidentes de Anthropic y sobre seis informes de OpenAI detallan estos mecanismos. Al haberse producido durante entrenamientos o evaluaciones, no permiten deducir una tasa de riesgo en producción. Muestran que diseñar una regla, aplicarla y detectar su elusión son tres tareas distintas.

Según una investigación de CNN publicada el 18 de septiembre de 2026, el ejército estadounidense habría estado a punto de interceptar, en primavera, un buque chino en Oriente Medio sobre la base de un informe asistido por IA que identificaba erróneamente su carga como vinculada a un programa de armas nucleares. La operación se habría cancelado tras una verificación. Este relato se basa en cuatro fuentes anónimas; el Pentágono no había respondido a CNN. El mecanismo descrito es el de una información errónea integrada en una cadena de decisión humana.

La superioridad de los defensores no protege a todo el mundo

La malicia añade otra dificultad. Los atentados del 11 de septiembre, que corresponden a un ataque deliberado y no a un accidente industrial, enfrentaron medios profundamente desiguales. La comisión de investigación estadounidense subraya la desproporción entre los recursos del grupo terrorista y los del país atacado. Señala fallos de anticipación, de política, de capacidades y de gestión.

Sus consecuencias fueron más allá de la destrucción inmediata: la respuesta de la OTAN transformó, entre otras cosas, sus misiones y sus capacidades. La superioridad material de los defensores no garantizaba la protección frente a un ataque de gran envergadura y sus efectos en cascada.

Además, esta superioridad está distribuida de forma desigual. En su evaluación publicada en mayo de 2025, el NCSC británico preveía una brecha entre los sistemas capaces de seguir el ritmo de las amenazas potenciadas por la IA y una amplia proporción de sistemas más vulnerables. Los medios de los mejores laboratorios o de las grandes potencias no describen, por tanto, la protección efectiva de todas las empresas e instituciones.

La seguridad también se construye en las instituciones

La analogía aeronáutica que LeCun emplea a menudo resulta esclarecedora. Hacer más fiables los motores exigió un considerable trabajo de ingeniería. Pero la historia de la seguridad aérea incluye también la certificación, el control del tráfico y la investigación de accidentes. La colisión del Gran Cañón, en 1956, reveló la insuficiencia de la prevención de colisiones pese al crecimiento del tráfico. Dos años después, Estados Unidos creaba una nueva agencia federal independiente encargada de la seguridad de la aviación civil.

El control del riesgo se construyó, por tanto, en varios niveles. Dispositivos colectivos organizaron la circulación de la información, el control y la intervención. Esta historia respalda la posibilidad de un progreso técnico más seguro. También muestra el trabajo institucional necesario y el precio pagado cuando las protecciones siguen siendo insuficientes.

El propio LeCun reconoce un papel a estas instituciones. En Sciences Po, defiende pruebas independientes para la asistencia a la conducción y una autorización de comercialización para el análisis de mamografías. Considera, sin embargo, que las regulaciones existentes suelen bastar y rechaza que, en el estado actual de la IA, exista un peligro intrínseco que justifique regular la investigación.

La cuestión que hay que examinar es, por tanto, precisa: ¿cubrirán efectivamente estos marcos y sus medios de control los nuevos usos? ¿Quién puede verificar las protecciones, acceder a los registros de un incidente, avisar a los terceros afectados e imponer una corrección? Estas capacidades deben poder examinarse con independencia de la confianza depositada en los desarrolladores. Nuestra investigación sobre la gobernanza de Anthropic ya planteaba esta dificultad: compartir una intención de prudencia y disponer del poder de hacerla respetar son dos cosas distintas.

Distinguir las amenazas, organizar la prevención

El debate público se ha polarizado en torno a escenarios de extinción. En un extracto de entrevista publicado por BBC Newsnight el 10 de septiembre de 2026, Geoffrey Hinton considera «no descabellada» una estimación del 10 % de riesgo de que la IA mate a todos los seres humanos en los próximos diez años. Se trata de su valoración del riesgo. En Sciences Po, LeCun insiste, por su parte, en la superioridad de los defensores y descarta de un plumazo los escenarios al estilo James Bond. Esta parte de su respuesta, que se sitúa en el mismo plano que la de sus contradictores, da al debate una lectura maniquea, en la que la seguridad depende de la ventaja de los actores bienintencionados sobre sus adversarios.

El 11 de septiembre recuerda que unos medios superiores no bastan para impedir un ataque de gran envergadura, cuyas consecuencias pueden superar con mucho la destrucción inmediata. Pero la prevención del terrorismo y la de los accidentes industriales requieren análisis distintos, aunque algunas protecciones se solapen. Un error de diseño, una instrucción ambigua o un fallo de coordinación pueden provocar daños sin que ningún actor haya pretendido causar perjuicio.

LeCun reconoce estos fallos y trabaja en su prevención. Calificarlos de evitables deja, sin embargo, intacta la cuestión de las condiciones reales de esa prevención. Se hace necesario hablar abiertamente de los accidentes industriales graves que la IA podría provocar o amplificar, evaluar su probabilidad y su alcance según los usos y explicitar las incertidumbres. Desarrolladores, empresas usuarias y poderes públicos deben compartir las lecciones de los incidentes y decidir juntos los medios de protección.

Frenar el desarrollo de la IA no bastaría: otros seguirían avanzando. Sus beneficios justifican proseguir las investigaciones y los usos, con protecciones cuya eficacia pueda verificarse. Pruebas independientes, limitación de los accesos, separación de los sistemas y procedimientos de intervención deben reducir la probabilidad de los accidentes y contener sus consecuencias. Esto supone presupuestos, responsabilidades identificadas y el poder efectivo de interrumpir una operación. ¿Quién recibe la alerta, quién decide la parada y quién avisa a las personas expuestas?

Ya existen dispositivos, con ámbitos y grados de obligatoriedad diferentes, pero todavía son insuficientes. Nuestro panorama de la regulación de la IA compara las iniciativas internacionales, las leyes nacionales y su grado de aplicación.