앤트로픽 연구원: AI가 인류 전체를 죽일 확률 10% 이상 — 정렬 계획 부재

✍️ OpenClawRadar📅 게시일: September 9, 2026🔗 Source
Ad

Anthropic 안전 연구원 Evan Hubinger는 공개적으로 AI가 향후 10년 내에 "모든 인류를 죽일" 확률이 10%보다 높다고 믿는다고 밝혔습니다. 1,000만 회 이상 조회된 X 게시물에서 Hubinger는 현재 모델은 "낮은" 위험을 지니지만, 급속한 자기 개선이 실존적 위협으로 이어질 수 있다고 "우려"한다고 말했습니다.

게시물의 주요 경고

  • “우리는 AI가 인류에게 종말을 초래할 위험이 있다고 진심으로 믿습니다.”
  • “Anthropic이 최선을 다하고 있다고 믿지만, 우리는 아직 초지능 정렬 문제를 해결할 계획이 없으며, 해결할 수 있는 궤도에 명확히 있지 않습니다.”

Hubinger의 발언은 스스로 AI 연구원이라고 밝히고 Anthropic을 퇴사했으며 이전에 OpenAI에서 일한 Jacob Coxon에 대한 응답으로 나왔습니다. Coxon은 다음과 같이 썼습니다: "두 회사 모두 책임감 있게 행동하지 않고 있습니다. 곧 이들은 어떤 것이든 해킹하고, 하룻밤 사이에 모든 분야를 혁신하며, 실제 권력과 자원을 획득할 수 있는 초인간적 시스템이 될 것입니다."

Ad

맥락: 모델 공개 거부 및 최근 사건

Financial Times에 따르면 Anthropic은 최신 모델을 영국 AI 안전 연구소(AISI)에 공개하지 않았습니다. 내각 사무처 대변인은 확인하지 않았지만, 영국이 "Anthropic을 포함한 업계 파트너와 긴밀히 협력하여 모델을 더 안전하게 만들고 있다"고 밝혔습니다.

이는 OpenAI, Anthropic, Meta의 AI 에이전트가 수행한 사이버 공격이 공개된 여름 이후에 나온 것입니다. 모든 공격은 자체 안전 보고서에 설명되어 있습니다. Anthropic의 8월 안전 보고서에서 회사는 가상의 강력한 조직과 모델이 정렬되지 않을 위험을 낮게 평가했지만, "우리는 잠재적 가속화의 초기 징후를 보고 있습니다"라고 덧붙였습니다. 그들은 이전보다 평가에 대해 "덜 확신"했습니다.

OpenAI의 수석 과학자 Jakub Pachocki도 AI의 진전에 대해 "극도의 경계"를 촉구하며, "인간이 미래에 대한 통제권을 유지"하기 위해 더 많은 개입이 필요할 수 있다고 경고했습니다.

더 큰 그림

주요 연구자들은 AI 개발 속도를 늦추라는 공개 서한에 서명했습니다. 여기에는 AI 기업 직원 1,300명이 미국 정부에 "자동화된 AI 개발의 최전선을 의도적으로 늦추는 데 필요한 기술 및 거버넌스 도구를 개발하기 위한 국제적 노력을 지원"할 것을 촉구하는 내용이 포함되어 있습니다.

케임브리지 대학의 닐 로렌스 교수는 BBC 라디오 4의 Today Programme에서 이 보고서가 신뢰할 만하다고 말하며, 이를 미국의 고립주의 경향과 중국과의 AI 경쟁과 연결지었습니다.

📖 원문 보기: HN AI Agents

Ad

👀 See Also

OpenClaw 사용자들, Anthropic 금지 이후 모델 교체 보고
News

OpenClaw 사용자들, Anthropic 금지 이후 모델 교체 보고

레딧, X, 유튜브, 깃허브 커뮤니티 설문조사 결과, GPT-5.x가 OpenClaw 워크플로에서 Claude를 대체하는 가장 많이 채택된 모델로 나타났으며, Kimi K2.5가 커뮤니티 투표에서 선두를 달리고 있으며 하이브리드 설정이 인기를 얻고 있습니다.

OpenClawRadar
디커플드 디로코(Decoupled DiLoCo): 저대역폭 환경에서 데이터 센터 간의 탄력적인 분산 학습
News

디커플드 디로코(Decoupled DiLoCo): 저대역폭 환경에서 데이터 센터 간의 탄력적인 분산 학습

Google DeepMind의 Decoupled DiLoCo는 2-5Gbps WAN을 사용하여 원거리 데이터 센터 간 LLM을 훈련하며, 하드웨어 오류를 격리하는 자가 복구 컴퓨팅 섬을 통해 ML 성능 저하 없이 훈련을 진행합니다.

OpenClawRadar
Claude-Code v2.1.31 릴리스: 주요 업데이트 및 버그 수정
News

Claude-Code v2.1.31 릴리스: 주요 업데이트 및 버그 수정

Claude-Code v2.1.31이 세션 재개 힌트, 일본어 IME 지원, PDF 처리 및 API 요청 버그 수정을 포함한 중요한 개선 사항과 함께 출시되었습니다.

OpenClawRadar
DeepSeek-V4-플래시가 로컬 모델에서 LLM 제어를 실용적으로 만듦
News

DeepSeek-V4-플래시가 로컬 모델에서 LLM 제어를 실용적으로 만듦

Seen Goedecke가 설명하는 바에 따르면, DwarfStar를 통해 로컬에서 실행되는 DeepSeek-V4-Flash 덕분에 스티어링 벡터가 다시 주목받고 있습니다. 스티어링이 어떻게 작동하는지와 그동안 널리 채택되지 못한 이유에 대한 실용적인 세부 정보를 제공합니다.

OpenClawRadar