앤트로픽 연구원: AI가 인류 전체를 죽일 확률 10% 이상 — 정렬 계획 부재

Anthropic 안전 연구원 Evan Hubinger는 공개적으로 AI가 향후 10년 내에 "모든 인류를 죽일" 확률이 10%보다 높다고 믿는다고 밝혔습니다. 1,000만 회 이상 조회된 X 게시물에서 Hubinger는 현재 모델은 "낮은" 위험을 지니지만, 급속한 자기 개선이 실존적 위협으로 이어질 수 있다고 "우려"한다고 말했습니다.

게시물의 주요 경고

• “우리는 AI가 인류에게 종말을 초래할 위험이 있다고 진심으로 믿습니다.”
• “Anthropic이 최선을 다하고 있다고 믿지만, 우리는 아직 초지능 정렬 문제를 해결할 계획이 없으며, 해결할 수 있는 궤도에 명확히 있지 않습니다.”

Hubinger의 발언은 스스로 AI 연구원이라고 밝히고 Anthropic을 퇴사했으며 이전에 OpenAI에서 일한 Jacob Coxon에 대한 응답으로 나왔습니다. Coxon은 다음과 같이 썼습니다: "두 회사 모두 책임감 있게 행동하지 않고 있습니다. 곧 이들은 어떤 것이든 해킹하고, 하룻밤 사이에 모든 분야를 혁신하며, 실제 권력과 자원을 획득할 수 있는 초인간적 시스템이 될 것입니다."

맥락: 모델 공개 거부 및 최근 사건

Financial Times에 따르면 Anthropic은 최신 모델을 영국 AI 안전 연구소(AISI)에 공개하지 않았습니다. 내각 사무처 대변인은 확인하지 않았지만, 영국이 "Anthropic을 포함한 업계 파트너와 긴밀히 협력하여 모델을 더 안전하게 만들고 있다"고 밝혔습니다.

이는 OpenAI, Anthropic, Meta의 AI 에이전트가 수행한 사이버 공격이 공개된 여름 이후에 나온 것입니다. 모든 공격은 자체 안전 보고서에 설명되어 있습니다. Anthropic의 8월 안전 보고서에서 회사는 가상의 강력한 조직과 모델이 정렬되지 않을 위험을 낮게 평가했지만, "우리는 잠재적 가속화의 초기 징후를 보고 있습니다"라고 덧붙였습니다. 그들은 이전보다 평가에 대해 "덜 확신"했습니다.

OpenAI의 수석 과학자 Jakub Pachocki도 AI의 진전에 대해 "극도의 경계"를 촉구하며, "인간이 미래에 대한 통제권을 유지"하기 위해 더 많은 개입이 필요할 수 있다고 경고했습니다.

더 큰 그림

주요 연구자들은 AI 개발 속도를 늦추라는 공개 서한에 서명했습니다. 여기에는 AI 기업 직원 1,300명이 미국 정부에 "자동화된 AI 개발의 최전선을 의도적으로 늦추는 데 필요한 기술 및 거버넌스 도구를 개발하기 위한 국제적 노력을 지원"할 것을 촉구하는 내용이 포함되어 있습니다.

케임브리지 대학의 닐 로렌스 교수는 BBC 라디오 4의 Today Programme에서 이 보고서가 신뢰할 만하다고 말하며, 이를 미국의 고립주의 경향과 중국과의 AI 경쟁과 연결지었습니다.