16 вересня 2026 року в Sciences Po Yann LeCun згадує James Bond, характеризуючи сценарій масованої кібератаки з боку ШІ-агентів. На його думку, захисники мають кращі технології та компетенції. Він стверджує, що поява агентів дає перевагу обороні. Він додає, що атаки й засоби захисту стають дедалі витонченішими, але не бачить чіткої зміни балансу між ними. Щодо біологічного ризику він посилається на засоби, необхідні для створення патогену, а потім на мотивацію фахівців: у них, мовляв, є кращі перспективи, ніж працювати над вірусом, який може їх убити.

У цих відповідях його технологічний оптимізм спирається також на довіру до людини. Проте компетентні учасники з добрими намірами можуть разом допустити катастрофу. LeCun справді працює над безпекою систем. Відкритим залишається питання надійності людських рішень і організацій, відповідальних за її забезпечення, в обставинах, які вони часом погано передбачать.

Технічні запобіжники, припущення щодо поведінки

Ця довіра висловлена прямо. У своєму інтерв’ю з Lex Fridman, опублікованому в березні 2024 року, LeCun каже, що вважає людей «по суті добрими», у нашому перекладі, і пов’язує песимізм щодо ШІ з недовірою до людей чи інституцій. В інтерв’ю The Hub у 2023 році він уже стверджував, що учасники з добрими намірами матимуть більше ресурсів, а користувачі відкидатимуть небезпечні машини. Якби технологія пішла в хибному напрямку, «ми просто зупиняємося», пояснював він.

LeCun пропонує й інженерні відповіді. У розмові з Lex Fridman він описує ШІ, кероване цілями, з вбудованими запобіжниками, визнає, що непередбачувана поведінка виникатиме, і передбачає поступове вдосконалення захисту. Звіт про його дискусію в INSEAD, опублікований 14 вересня 2026 року, відтворює цю амбіцію: передбачати наслідки дій завдяки моделям світу та вбудовувати обмеження в ухвалення рішень. У Fortune 1 жовтня він пояснює інциденти вадами проєктування та нагляду, яких, на його думку, можна уникнути.

Ці дослідження дають його оптимізму технічне підґрунтя. Вони залишають відкритими колективні умови їхнього успіху. Користувач може хотіти корисного інструмента, не знаючи про його небезпеки. Керівництво може вагатися, чи зупиняти діяльність. Кілька команд можуть поділяти хибне припущення. Проблема починається задовго до зловмисності: іноді достатньо, щоб кожен довіряв запобіжнику, межі якого ніхто не перевірив.

Катастрофа не мусить загрожувати людству

Історія промисловості пропонує іншу шкалу тяжкості, ніж вимирання. Вибух на заводі AZF у Тулузі 2001 року зачепив місто далеко за межами підприємства. Дослідження в галузі громадського здоров’я документують його наслідки для здоров’я, а також для особистого, сімейного та професійного життя мешканців. Локальна аварія може завдати тривалої шкоди, що значно виходить за межі організації, з якої вона почалася.

У випадку Фукусіми аналіз людських і організаційних чинників, проведений для доповіді МАГАТЕ, описує, як причетні учасники взаємно зміцнювали свої уявлення про безпеку. Ці спільні переконання завадили належній підготовці до аварії в березні 2011 року. Довіра до системи сама була частиною проблеми.

Ці прецеденти не вимірюють ризик ШІ. Вони нагадують, якою може бути ціна недостатнього передбачення, навіть у галузях, де працюють фахівці з безпеки. У міру поширення ШІ слід виходити з того, що тяжкі аварії траплятимуться, і прагнути знизити як їхню ймовірність, так і масштаб. Здатність виправити ситуацію згодом сама по собі не відповідає на питання про шкоду, завдану тим часом.

Нещодавні інциденти, встановлена шкода від яких залишається обмеженою, уже показують розбіжності між передбаченими запобіжниками та їхнім фактичним функціонуванням. Наші статті про перекваліфікацію інцидентів Anthropic і про шість звітів OpenAI докладно описують ці механізми. Оскільки вони сталися під час навчання або оцінювань, з них не можна вивести рівень ризику в робочому середовищі. Вони показують, що розробити правило, застосувати його та виявити його обхід є трьома окремими завданнями.

Згідно з розслідуванням CNN, опублікованим 18 вересня 2026 року, навесні армія США нібито ледь не перехопила китайське судно на Близькому Сході на підставі звіту, підготовленого за допомогою ШІ, який помилково пов’язав його вантаж із програмою ядерної зброї. Операцію нібито скасували після перевірки. Ця розповідь ґрунтується на чотирьох анонімних джерелах; Пентагон не відповів CNN. Описаний механізм полягає в тому, що хибна інформація потрапляє до людського ланцюга ухвалення рішень.

Перевага захисників не захищає всіх

Зловмисність додає іншу складність. Під час терактів 11 вересня, що були навмисною атакою, а не промисловою аварією, зіткнулися глибоко нерівні ресурси. Американська комісія з розслідування підкреслює непропорційність між ресурсами терористичного угруповання та ресурсами країни, що зазнала удару. Вона констатує провали в передбаченні, політиці, спроможностях і управлінні.

Їхні наслідки вийшли за межі безпосередніх руйнувань: реакція НАТО, зокрема, змінила його місії та спроможності. Матеріальна перевага захисників не гарантувала захисту від масштабної атаки та її каскадних наслідків.

До того ж ця перевага розподілена нерівномірно. У своїй оцінці, опублікованій у травні 2025 року, британський NCSC прогнозував розрив між системами, здатними встигати за темпом загроз, посилених ШІ, і значною часткою вразливіших систем. Тож ресурси найкращих лабораторій чи великих держав не відображають реального захисту всіх компаній та інституцій.

Безпека будується також в інституціях

Авіаційна аналогія, до якої часто вдається LeCun, показова. Підвищення надійності двигунів потребувало величезної інженерної роботи. Але історія безпеки польотів охоплює також сертифікацію, управління повітряним рухом і розслідування авіаційних подій. Зіткнення над Гранд-Каньйоном 1956 року виявило недостатність запобігання зіткненням попри зростання повітряного руху. Через два роки Сполучені Штати створили нове незалежне федеральне агентство, відповідальне за безпеку цивільної авіації.

Отже, контроль над ризиком вибудовувався на кількох рівнях. Колективні механізми організували обіг інформації, контроль і втручання. Ця історія підтверджує можливість безпечнішого технічного прогресу. Вона також показує необхідну інституційну роботу та ціну, яку доводиться платити, коли запобіжники залишаються недостатніми.

LeCun і сам визнає роль цих інституцій. У Sciences Po він обстоює незалежне тестування систем допомоги водієві та дозвіл на виведення на ринок для аналізу мамограм. Водночас він вважає, що чинного регулювання здебільшого достатньо, і за нинішнього стану ШІ заперечує наявність внутрішньо притаманної небезпеки, яка виправдовувала б регулювання досліджень.

Тож питання, яке слід розглянути, цілком конкретне: чи справді ці рамки та їхні засоби контролю охоплять нові способи використання? Хто може перевіряти запобіжники, отримувати доступ до слідів інциденту, попереджати відповідні треті сторони та вимагати виправлення? Ці можливості мають підлягати перевірці незалежно від довіри до розробників. Наше розслідування щодо врядування в Anthropic уже порушувало цю проблему: поділяти намір діяти обережно та мати владу домогтися його дотримання є двома різними речами.

Розрізняти загрози, організовувати запобігання

Публічні дебати поляризувалися навколо сценаріїв вимирання. В уривку інтерв’ю, опублікованому BBC Newsnight 10 вересня 2026 року, Geoffrey Hinton називає «не безпідставною» оцінку в 10 % ризику того, що ШІ вб’є всіх людей протягом десяти років. Ідеться про його власну оцінку ризику. У Sciences Po LeCun натомість наголошує на перевазі захисників і відмахується від сценаріїв у дусі James Bond. Ця частина його відповіді, що залишається в тій самій площині, що й позиція його опонентів, надає дебатам маніхейського прочитання, в якому безпека залежить від переваги учасників з добрими намірами над їхніми супротивниками.

Теракти 11 вересня нагадують, що переважаючих ресурсів недостатньо, щоб запобігти масштабній атаці, наслідки якої можуть значно перевищувати безпосередні руйнування. Але запобігання тероризму та запобігання промисловим аваріям потребують окремого аналізу, навіть якщо деякі запобіжники збігаються. Помилка проєктування, неоднозначна інструкція чи збій координації можуть завдати шкоди, хоча жоден учасник не мав наміру нашкодити.

LeCun визнає ці збої та працює над їх запобіганням. Утім, називаючи їх такими, яких можна уникнути, він залишає повністю відкритим питання про реальні умови такого запобігання. Стає необхідним відкрито говорити про тяжкі промислові аварії, які ШІ може спричинити або посилити, оцінювати їхню ймовірність і масштаб залежно від способів використання та чітко окреслювати невизначеності. Розробники, компанії-користувачі та органи влади мають ділитися уроками інцидентів і спільно ухвалювати рішення щодо засобів захисту.

Гальмування розвитку ШІ не було б достатнім: інші продовжували б рухатися вперед. Переваги ШІ виправдовують продовження досліджень і використання, із запобіжниками, ефективність яких можна перевірити. Незалежне тестування, обмеження доступу, розділення систем і процедури втручання мають знижувати ймовірність аварій і стримувати їхні наслідки. Це передбачає бюджети, чітко визначену відповідальність і реальні повноваження зупинити операцію. Хто отримує сигнал тривоги, хто ухвалює рішення про зупинку і хто попереджає людей, які наражаються на ризик?

Механізми вже існують, з різним охопленням і різним ступенем обов’язковості, але їх досі недостатньо. Наш огляд регулювання ШІ порівнює міжнародні ініціативи, національні закони та стан їх застосування.