2026年9月16日、Sciences Poで、Yann LeCunはAIエージェントによる大規模サイバー攻撃のシナリオをJames Bondになぞらえた。彼によれば、防御側はより優れた技術と能力を持っている。エージェントの登場は防御側に有利に働くと彼は断言する。さらに、攻撃も防御も高度化しているが、両者の均衡に明確な変化は見られないと付け加えた。生物学的リスクについては、病原体の製造に必要な資源を挙げ、次に専門家の動機に触れた。彼らには、自分を死に至らしめかねないウイルスの研究に携わるよりも良い展望があるはずだというのである。
これらの回答において、彼の技術的楽観論は人間への信頼にも支えられている。しかし、有能で善意ある主体同士であっても、その積み重ねによって大惨事の発生を許してしまうことがある。LeCunは確かにシステムの安全性に取り組んでいる。残る問題は、時に十分に予期していなかった状況のもとで、安全性を機能させる役割を担う人間の判断と組織の信頼性である。
技術的な防護策と、人間の行動をめぐる仮説
この信頼ははっきりと語られている。2024年3月に公開されたLex Fridmanとの対談で、LeCunは、当メディアの訳によれば、人々は「基本的に善良だ」と考えていると述べ、AIに対する悲観論を人々や制度への不信と結びつけている。2023年のThe Hubのインタビューでもすでに、善意ある主体のほうがより多くの手段を持ち、利用者は危険な機械を拒むだろうと主張していた。技術が誤った方向に進めば、「私たちはただやめるだけだ」と彼は説明していた。
LeCunは工学的な解決策も提案している。Lex Fridmanとの対談では、安全装置を組み込んだ目的駆動型のAIを描き、予期しない振る舞いが生じることを認めたうえで、防護策を段階的に改善していくことを想定している。2026年9月14日に公開されたINSEADでの対話の報告も、この構想を取り上げている。世界モデルによって行動の結果を予測し、意思決定に制約を組み込むというものである。10月1日のFortuneでは、インシデントの原因を設計と監督の欠陥に帰し、それらは回避可能だとしている。
これらの研究は、彼の楽観論に技術的な基盤を与えている。だが、それらが成功するための集団的な条件は未解決のままである。利用者は、危険を知らないまま有用な道具を求めることがある。経営陣は活動の停止をためらうことがある。複数のチームが誤った前提を共有することもある。問題は悪意よりもはるか手前で始まる。誰も限界を検証していない防護策を、全員が信頼するだけで十分な場合もある。
大惨事は人類を脅かすものである必要はない
産業の歴史は、絶滅とは別の重大さの尺度を示している。2001年にトゥールーズで起きたAZFの爆発は、工場をはるかに越えて都市全体に被害を及ぼした。公衆衛生分野の研究は、住民の健康と、個人・家庭・職業生活への影響を記録している。局地的な事故が、その原因となった組織の範囲を大きく超える長期的な被害を生むことがある。
福島については、IAEAの報告書のために行われた人的・組織的要因の分析が、関係者たちが安全性に関する思い込みを互いに強め合った過程を描いている。こうした共有された確信が、2011年3月の事故への適切な備えを妨げた。システムへの信頼そのものが問題の一部だったのである。
これらの先例がAIのリスクを測るわけではない。だが、安全の専門家が働く分野であっても、予見の欠如がどれほどの代償を伴いうるかを思い起こさせる。AIが普及するにつれ、重大な事故は起こるという前提に立ち、その発生確率と影響範囲の双方を小さくするよう努める必要がある。事後に修正できる能力だけでは、それまでに生じた被害の問題に答えることはできない。
確認された被害が限定的にとどまる最近のインシデントも、想定された防護策と実際の機能との間にずれがあることをすでに示している。Anthropicのインシデントの再分類とOpenAIの6件の報告書に関する当メディアの記事が、その仕組みを詳しく伝えている。これらは訓練や評価の過程で起きたものであり、本番環境でのリスクの割合を導き出すことはできない。ただ、規則を設計すること、それを適用すること、その回避を検知することは、それぞれ別の作業であることを示している。
2026年9月18日に公開されたCNNの調査報道によれば、米軍は今春、中東で中国の船舶を拿捕する寸前までいったという。根拠となったのは、その積み荷を核兵器計画に関連するものと誤って特定したAI支援の報告だった。作戦は確認の後に中止されたとされる。この報道は4人の匿名の情報源に基づいており、国防総省はCNNに回答していなかった。ここで描かれているのは、誤った情報が人間の意思決定の連鎖に組み込まれるという仕組みである。
防御側の優位はすべての人を守るわけではない
悪意はさらに別の困難を加える。9.11同時多発テロは産業事故ではなく意図的な攻撃だが、そこでは著しく不均衡な手段が対峙した。米国の調査委員会は、テロ集団の資源と攻撃を受けた国の資源との落差を強調している。そのうえで、予見、政策、能力、管理の各面での失敗を指摘している。
その影響は直接の破壊にとどまらなかった。NATOの対応は、とりわけその任務と能力を変容させた。防御側の物的な優位は、大規模な攻撃とその連鎖的な影響から守ることを保証しなかったのである。
しかも、この優位は均等に分布しているわけではない。2025年5月に公表した評価で、英国のNCSCは、AIによって強化された脅威のペースについていけるシステムと、より脆弱な多数のシステムとの間に分断が生じると予測していた。したがって、最先端の研究所や大国が持つ手段は、すべての企業や機関が実際に受けている保護を表すものではない。
安全は制度の中でも築かれる
LeCunがよく用いる航空のたとえは示唆に富む。エンジンの信頼性を高めるには、膨大な工学的努力が必要だった。しかし、航空安全の歴史には、認証、航空交通管制、事故調査も含まれている。1956年のグランドキャニオン空中衝突事故は、交通量が増加するなかで衝突防止策が不十分であることを明らかにした。その2年後、米国は民間航空の安全を担う独立した連邦機関を新設した。
つまり、リスクの制御は複数の層で築かれてきた。集団的な仕組みが、情報の流通、監視、介入を組織した。この歴史は、より安全な技術進歩が可能であることを裏づける。同時に、そこに必要な制度的な取り組みと、防護策が不十分なままだった場合に払われた代償も示している。
LeCun自身も、こうした制度の役割を認めている。Sciences Poでは、運転支援システムの独立した試験や、マンモグラフィー解析への販売承認の必要性を擁護した。ただし、既存の規制で概ね十分だと考えており、現在のAIの段階では、研究の規制を正当化するような本質的な危険はないとしている。
したがって、検討すべき点は明確である。これらの枠組みとその監督手段は、新たな用途を実際にカバーできるのか。誰が防護策を検証し、インシデントの記録にアクセスし、影響を受ける第三者に通知し、是正を命じることができるのか。こうした能力は、開発者に寄せられる信頼とは切り離して検証できなければならない。当メディアのAnthropicのガバナンスに関する調査もすでにこの難しさを指摘していた。慎重であろうという意図を共有することと、それを守らせる権限を持つことは別のことである。
脅威を区別し、予防を組織する
公の議論は、絶滅のシナリオをめぐって二極化している。2026年9月10日にBBC Newsnightが公開したインタビューの抜粋で、Geoffrey Hintonは、AIが今後10年以内に全人類を死滅させるリスクを10％とする見積もりを「不合理ではない」と評している。これは彼自身によるリスク評価である。一方、LeCunはSciences Poで防御側の優位を強調し、James Bondのようなシナリオを一蹴している。反対論者と同じ次元にとどまる彼の回答のこの部分は、議論に善悪二元論的な読み方を与えている。そこでは、安全は善意ある主体が敵対者に対して持つ優位に左右されることになる。
9.11は、優れた手段があっても大規模な攻撃を防ぐには十分でなく、その影響が直接の破壊をはるかに超えうることを思い起こさせる。だが、テロの防止と産業事故の防止には、一部の防護策が重なるとしても、別々の分析が必要である。設計上の誤り、曖昧な指示、連携の失敗は、誰も害を加えようとしていなくても被害をもたらしうる。
LeCunはこうした失敗を認め、その予防に取り組んでいる。しかし、それらを回避可能と位置づけても、その予防が実際にどのような条件で成り立つのかという問題は手つかずのまま残る。AIが引き起こし、あるいは増幅しうる重大な産業事故について率直に語り、用途に応じてその発生確率と影響範囲を評価し、不確実性を明示することが必要になっている。開発者、利用企業、公的機関は、インシデントから得た教訓を共有し、防護の手段をともに決めなければならない。
AIの開発にブレーキをかけるだけでは十分ではない。他の者が前進を続けるからだ。AIがもたらす便益は、有効性を検証できる防護策を備えたうえで、研究と利用を続けることを正当化する。独立した試験、アクセスの制限、システムの分離、介入の手順によって、事故の発生確率を下げ、その影響を封じ込めなければならない。そのためには、予算、明確な責任、そして運用を停止する実効的な権限が欠かせない。誰が警報を受け、誰が停止を決め、誰が影響を受ける人々に知らせるのか。
適用範囲も拘束力の度合いも異なる仕組みはすでに存在するが、まだ不十分である。当メディアのAI規制の現状では、国際的な取り組み、各国の法律、それらの適用状況を比較している。