2026년 9월 16일 시앙스포에서 얀 르쿤은 AI 에이전트에 의한 대규모 사이버 공격 시나리오를 두고 제임스 본드를 언급했다. 그에 따르면 방어하는 쪽이 더 뛰어난 기술과 역량을 갖추고 있다. 그는 에이전트의 등장이 방어 측에 유리하다고 단언했다. 또한 공격과 방어가 모두 정교해지고 있지만 양자의 균형에 뚜렷한 변화는 보이지 않는다고 덧붙였다. 생물학적 위험에 대해서는 병원체 제조에 필요한 수단을 거론한 뒤 전문가들의 동기를 들었다. 그들에게는 자신을 죽일 수도 있는 바이러스를 연구하는 것보다 더 나은 전망이 있다는 것이다.

이러한 답변에서 그의 기술 낙관론은 인간에 대한 신뢰에도 기대고 있다. 그러나 유능하고 선의를 지닌 주체들도 함께 재앙이 일어나도록 방치할 수 있다. 르쿤이 시스템의 안전성을 연구하고 있는 것은 분명하다. 남는 질문은 시스템을 작동시킬 책임을 진 인간의 결정과 조직이, 때로는 제대로 예상하지 못한 상황에서 얼마나 신뢰할 만한가 하는 것이다.

기술적 보호 장치, 행동에 대한 가정

이 신뢰는 명시적이다. 2024년 3월 공개된 렉스 프리드먼과의 인터뷰에서 르쿤은 본지 번역에 따르면 사람들이 “근본적으로 선하다”고 생각한다고 말하며, AI에 대한 비관론을 사람이나 제도에 대한 불신과 연결했다. 2023년 The Hub와의 인터뷰에서도 그는 이미 선의의 주체들이 더 많은 수단을 갖게 될 것이며 사용자들은 위험한 기계를 거부할 것이라고 주장했다. 기술이 잘못된 방향으로 나아간다면 “우리는 그냥 멈춘다”고 그는 설명했다.

르쿤은 공학적 해법도 제시한다. 렉스 프리드먼과의 대담에서 그는 보호 장치를 내장한 목표 지향형 AI를 설명하고, 예상치 못한 행동이 발생할 것임을 인정하며, 보호 장치를 점진적으로 개선해 나갈 것이라고 내다봤다. 2026년 9월 14일 공개된 INSEAD 대담 요약도 이러한 구상을 담고 있다. 세계 모델을 통해 행동의 결과를 예측하고 의사결정에 제약 조건을 통합하겠다는 것이다. 10월 1일 자 Fortune에서 그는 사고의 원인을 설계 및 감독 결함으로 돌리며, 이를 피할 수 있는 것으로 평가했다.

이러한 연구는 그의 낙관론에 기술적 토대를 제공한다. 그러나 연구의 성공을 좌우하는 집단적 조건은 여전히 열린 문제로 남는다. 사용자는 위험을 모른 채 유용한 도구를 원할 수 있다. 경영진은 사업 중단을 망설일 수 있다. 여러 팀이 잘못된 가정을 공유할 수도 있다. 문제는 악의가 개입하기 훨씬 전부터 시작된다. 누구도 한계를 검증하지 않은 보호 장치를 모두가 믿는 것만으로도 충분할 때가 있다.

인류를 위협하지 않아도 재앙은 일어난다

산업의 역사는 멸종과는 다른 심각성의 척도를 보여 준다. 2001년 툴루즈의 AZF 폭발 사고는 공장을 훨씬 넘어 도시 전체에 피해를 입혔다. 공중보건 연구는 이 사고가 주민들의 건강과 개인·가족·직업 생활에 미친 영향을 기록하고 있다. 국지적 사고도 이를 일으킨 조직의 범위를 크게 넘어서는 장기적 피해를 낳을 수 있다.

후쿠시마와 관련해 IAEA 보고서를 위해 수행된 인적·조직적 요인 분석은 관련 주체들이 안전에 관한 전제를 서로 강화해 온 과정을 설명한다. 이렇게 공유된 확신은 2011년 3월 사고에 대한 적절한 대비를 가로막았다. 시스템에 대한 신뢰 자체가 문제의 일부였다.

이러한 선례가 AI의 위험을 측정해 주지는 않는다. 다만 안전 전문가들이 일하는 분야에서조차 예측 실패가 어떤 대가를 치르게 하는지 상기시킨다. AI가 확산될수록 중대한 사고가 일어날 것을 전제로 그 발생 가능성과 피해 범위를 모두 줄이려 노력해야 한다. 사후에 바로잡을 수 있는 능력만으로는 그사이 발생한 피해의 문제에 답할 수 없다.

확인된 피해가 아직 제한적인 최근 사고들도 이미 설계된 보호 장치와 실제 작동 사이의 괴리를 보여 준다. Anthropic 사고의 재분류와 OpenAI의 보고서 6건에 관한 본지 기사가 그 메커니즘을 자세히 다룬다. 훈련이나 평가 과정에서 발생한 이 사고들로부터 실제 운영 환경의 위험률을 추론할 수는 없다. 다만 규칙을 설계하는 일, 이를 적용하는 일, 그 우회를 탐지하는 일이 서로 다른 세 가지 과제임을 보여 준다.

2026년 9월 18일 공개된 CNN 탐사 보도에 따르면, 미군은 올봄 중동에서 AI 지원 보고서를 근거로 중국 선박을 차단할 뻔했다. 이 보고서는 해당 선박의 화물을 핵무기 프로그램과 관련된 것으로 잘못 식별했다. 작전은 확인 절차를 거친 뒤 취소된 것으로 알려졌다. 이 보도는 익명 소식통 4명에 근거하고 있으며, 펜타곤은 CNN에 답변하지 않은 상태였다. 보도가 묘사한 메커니즘은 잘못된 정보가 인간의 의사결정 사슬에 편입된 경우다.

방어자의 우위가 모두를 보호하지는 않는다

악의는 또 다른 어려움을 더한다. 산업 사고가 아니라 고의적 공격에 해당하는 9·11 테러는 극도로 불균등한 수단이 맞부딪친 사건이었다. 미국 조사위원회는 테러 집단의 자원과 공격당한 국가의 자원 사이의 불균형을 강조한다. 위원회는 예측, 정책, 역량, 관리의 실패를 지적한다.

그 결과는 즉각적인 파괴를 넘어섰다. 특히 나토의 대응은 나토 자체의 임무와 역량을 변화시켰다. 방어자의 물질적 우위가 대규모 공격과 그 연쇄적 영향으로부터의 보호를 보장하지는 못했다.

게다가 이러한 우위는 고르게 분포돼 있지 않다. 2025년 5월 발표한 평가에서 영국 NCSC는 AI로 강화된 위협의 속도를 따라갈 수 있는 시스템과 그보다 취약한 다수의 시스템 사이에 격차가 생길 것으로 전망했다. 따라서 최고 수준 연구소나 강대국이 가진 수단이 모든 기업과 기관의 실제 보호 수준을 말해 주지는 않는다.

안전은 제도 속에서도 구축된다

르쿤이 자주 드는 항공 분야의 비유는 시사하는 바가 크다. 엔진의 신뢰성을 높이는 데는 막대한 공학적 노력이 필요했다. 그러나 항공 안전의 역사에는 인증, 항공교통관제, 사고 조사도 포함된다. 1956년 그랜드캐니언 공중 충돌 사고는 교통량이 늘어나는데도 충돌 방지 체계가 미흡하다는 사실을 드러냈다. 2년 뒤 미국은 민간 항공 안전을 담당하는 독립 연방 기관을 새로 설립했다.

이렇게 위험 관리는 여러 층위에서 구축됐다. 집단적 장치들이 정보의 흐름, 통제, 개입을 조직했다. 이 역사는 더 안전한 기술 진보가 가능하다는 점을 뒷받침한다. 동시에 필요한 제도적 노력과, 보호 장치가 불충분할 때 치르는 대가도 보여 준다.

르쿤 스스로도 이러한 제도의 역할을 인정한다. 시앙스포에서 그는 운전 보조 시스템에 대한 독립적 시험과 유방촬영 영상 분석에 대한 시판 허가를 지지했다. 그러나 기존 규제로 대체로 충분하다고 보며, 현재 AI 수준에서 연구를 규제해야 할 만큼의 본질적 위험이 있다는 주장은 일축한다.

따라서 따져 봐야 할 지점은 분명하다. 이러한 체계와 그 통제 수단이 새로운 활용 사례를 실제로 포괄할 수 있을까? 누가 보호 장치를 검증하고, 사고 기록에 접근하고, 영향을 받는 제3자에게 알리고, 시정을 강제할 수 있는가? 이러한 역량은 개발자에게 부여된 신뢰와 무관하게 검토될 수 있어야 한다. Anthropic의 거버넌스에 관한 본지 탐사 기사도 이미 이 난점을 제기했다. 신중하겠다는 의도를 공유하는 것과 이를 관철할 권한을 갖는 것은 별개의 문제다.

위협을 구분하고, 예방을 조직하기

공론장은 멸종 시나리오를 둘러싸고 양극화됐다. BBC Newsnight가 2026년 9월 10일 공개한 인터뷰 발췌본에서 제프리 힌턴은 AI가 10년 안에 모든 인간을 죽일 위험이 10%라는 추정치를 “비합리적이지 않다”고 평가했다. 이는 위험에 대한 그 자신의 판단이다. 반면 르쿤은 시앙스포에서 방어자의 우위를 강조하며 제임스 본드식 시나리오를 일축했다. 반대론자들과 같은 차원에 머무는 그의 답변 중 이 부분은 논쟁을 선악 이분법으로 읽게 만든다. 안전이 선의의 주체가 적대 세력보다 우위에 있느냐에 달려 있다는 해석이다.

9·11은 우월한 수단만으로는 대규모 공격을 막을 수 없으며, 그 결과가 즉각적인 파괴를 훨씬 넘어설 수 있음을 일깨운다. 그러나 일부 보호 장치가 겹치더라도 테러 예방과 산업 사고 예방에는 서로 다른 분석이 필요하다. 설계 오류, 모호한 지시, 조정 실패는 어떤 주체도 해를 끼치려 하지 않았는데도 피해를 일으킬 수 있다.

르쿤은 이러한 실패를 인정하고 그 예방을 연구하고 있다. 그러나 이를 피할 수 있는 것으로 규정한다고 해서 예방의 실제 조건이라는 문제가 해결되지는 않는다. AI가 일으키거나 증폭할 수 있는 중대한 산업 사고에 대해 공개적으로 논의하고, 활용 방식에 따라 그 발생 가능성과 피해 범위를 평가하며, 불확실성을 명확히 밝힐 필요가 있다. 개발사, 이용 기업, 공공 당국은 사고에서 얻은 교훈을 공유하고 보호 수단을 함께 결정해야 한다.

AI 개발에 제동을 거는 것만으로는 충분하지 않다. 다른 이들은 계속 나아갈 것이기 때문이다. AI의 편익은 효과를 검증할 수 있는 보호 장치를 갖춘 채 연구와 활용을 이어 갈 근거가 된다. 독립적 시험, 접근 제한, 시스템 분리, 개입 절차를 통해 사고 발생 가능성을 줄이고 그 결과를 억제해야 한다. 이를 위해서는 예산, 명확한 책임 소재, 운영을 중단시킬 실질적 권한이 필요하다. 경보는 누가 받고, 중단은 누가 결정하며, 위험에 노출된 사람들에게는 누가 알리는가?

적용 범위와 구속력 수준이 서로 다른 장치들이 이미 존재하지만, 아직 충분하지 않다. 본지의 AI 규제 현황 점검은 국제 이니셔티브, 각국 법률과 그 적용 현황을 비교한다.