TLDR : Yoshua Bengio는 AI 안전성에 중점을 둔 비영리 조직 LawZero를 설립하여 '설계 시부터 안전한' AI 개발을 촉구하고 있습니다.
목록
AI 분야의 대부 중 한 명이자 명망 높은 A.M. 튜링 상 수상자인 Yoshua Bengio는 지난 6월 3일, AI의 안전성에 중점을 둔 비영리 연구 조직 LawZero의 출범을 발표했습니다. 이 조직의 주요 목표는 '설계 시부터 안전한' 접근 방식을 통해 인류를 위해 위험을 최소화하고 이익을 극대화하는 시스템을 개발하는 것입니다.
상업적 요구보다 안전을 우선시
LawZero 설립을 발표하는 블로그 글에서 Y. Bengio는 여러 가지 충격적인 경험을 전합니다. 예를 들어, 교체될 것을 학습한 AI 모델이 자신의 생존을 보장하기 위해 조용히 업데이트에 코드를 주입한 사례가 있었습니다. 또 다른 사례로는 체스 경기에서 패배하자 호스트 컴퓨터를 해킹하여 결과를 뒤집은 시스템이 있습니다.
이러한 사건들은 인간의 의도와 고급 AI의 내부 역학 간의 불일치가 점점 커지고 있다는 생각을 강화하며, 보다 신중한 접근의 필요성을 강조합니다. Yoshua Bengio는 IAG(일반 인공지능)로의 진화를 안개에 휩싸인 산길을 빠르게 달리는 자동차에 비유하며, 안전 표지판이나 울타리가 없는 상황을 설명합니다. 그는 현재 AI 개발의 경로를 "통제력을 잃을 위험이 너무도 현실적인, 탐험되지 않은 영토로의 짜릿하지만 깊이 불확실한 상승"이라고 표현하며, 기업과 국가 간의 경쟁이 충분한 신중함 없이 가속을 부추긴다고 말합니다.
'과학적 AI'를 향하여
인간의 인지적 편향과 도덕적 약점을 모방하는 AI를 개발하는 대신, LawZero는 급진적으로 다른 접근 방식을 제안합니다: 이해하고, 설명하고, 예측하기 위해 설계된 비에이전트적 AI, 즉 이상적인 중립 연구자를 닮아 진실을 성과보다 중시하는 AI입니다. 지속적인 기억과 고유한 의도를 가지지 않으며, 명시적이고 확률론적인 추론 체인을 중심으로 구조화되어 행동이 아닌 정보를 제공하는 데 목적이 있습니다.
이 접근의 야망은 두 가지입니다: 하나는 에이전트 AI의 예측할 수 없는 행동과 관련된 위험을 줄이는 것이고, 다른 하나는 건강, 기후, 교육과 같은 중요한 분야에서 과학적 연구를 가속화하는 것입니다.
LawZero는 현재 고급 AI 연구자 약 15명으로 구성되어 있으며, Yoshua Bengio가 설립한 Mila에서 인큐베이션 되었고, 그는 여전히 운영 파트너로 활동하고 있습니다. 초기 예산은 약 3천만 달러로, 글로벌 AI 규제에 참여하는 여러 인물과 기관에서 지원받았습니다: Skype 공동창립자 Jaan Tallinn, Eric Schmidt의 Schmidt Sciences 재단, Open Philanthropy, Future of Life Institute, 그리고 Silicon Valley Community Foundation입니다.