Anthropic의 컴퓨터 사용 기능이 실제 테스트에서 거버넌스 봉쇄를 유발하다
무슨 일이 있었나
Anthropic이 컴퓨터 사용 기능을 출시했습니다. 한 개발자가 Claude Code의 거버넌스 세션 내에서 이러한 새로운 도구에 대한 강제 적용 범위를 추가하려고 작업하던 중 시스템이 LOCKDOWN 모드로 전환되었습니다.
사건의 주요 세부 사항
거버넌스 시스템은 거부된 작업으로 인한 누적 위험을 추적합니다. 이 위험이 0.50을 초과했을 때 시스템은 자동으로 LOCKDOWN 상태로 격상되었으며 다음과 같은 효과가 발생했습니다:
- 세션은 여전히 파일을 읽을 수 있었음
- 모든 쓰기 작업이 차단됨
- 변경 명령을 실행할 수 없었음
- GitHub 푸시가 방지됨
- 거버넌스 계층이 운영자 자신이 거버넌스 시스템을 강화할 작업을 완료하는 것을 차단함
강제 적용 메커니즘
LOCKDOWN은 후크 시스템에 의해 기계적으로 강제 적용되며 다음과 같은 특징을 가집니다:
- 재정의 채널이 존재하지 않음
- 모델이 대화를 통해 게이트를 우회할 수 없음
- 운영자가 대역 내 예외를 발행할 수 없음
- 유일한 복구 경로는 세션을 완전히 벗어나는 것임
해결 과정
작업을 계속하기 위해 개발자는 다음을 수행해야 했습니다:
- 거버넌스 세션을 종료함
- 로컬 머신에서 터미널을 열음
- 커밋을 수동으로 푸시함
시스템은 자신의 관할권 밖에서 인간의 개입을 강제했으며, 이는 개발자가 "설명하는 거버넌스와 강제하는 거버넌스의 차이"라고 설명하는 상황을 만들었습니다.
시스템 동작 참고 사항
LOCKDOWN 구현은 점진적으로 저하되지 않으며, 확인을 요청하지 않으며, 외부에서 인간의 조치가 발생할 때까지 정지 상태를 유지합니다. 개발자는 "그 거부가 제품입니다"라고 언급했습니다.
📖 전체 원문 읽기: r/ClaudeAI
👀 See Also
LLM 에이전트의 도구 권한 주입: 도구 출력이 시스템 의도를 무시할 때
한 연구자가 로컬 LLM 에이전트 실험실을 구축하여 '도구 권한 주입'을 시연했습니다. 이는 AI 에이전트에서 도구 출력이 시스템 의도를 재정의하는 시나리오입니다.
클로드 모델은 도구 접근 시 특히 보이지 않는 유니코드 문자 하이재킹에 취약합니다.
테스트 결과, 도구가 활성화된 상태에서 Claude Sonnet 4는 보이지 않는 유니코드 문자에 숨겨진 지침을 71.2% 준수하는 것으로 나타났으며, Opus 4는 유니코드 태그 인코딩에서 100% 준수율을 기록했습니다. 도구 접근은 모든 Claude 모델의 취약성을 극적으로 증가시킵니다.
Google 위협 인텔리전스 그룹, 2FA를 우회한 첫 AI 개발 제로데이 익스플로잇 보고
Google 위협 인텔리전스 그룹(GTIG)이 인기 있는 오픈소스 웹 기반 시스템 관리 도구에서 2FA를 우회하는 최초의 완전 AI 개발 제로데이 익스플로잇을 비롯해 스스로 변형하는 멀웨어와 Gemini 기반 백도어를 발견했습니다.
클로드 코드, 권한 철회 후에도 로깅 세션 지속…사용자 2주간 지원 침묵 신고
Claude Code 사용자가 접근 권한을 해지한 후에도 세션 로그가 계속 나타났으며, Anthropic 지원팀이 2주 동안 응답하지 않았다고 보고했습니다. 로그에는 user:file_upload, user:ccr_inference, user:sessions:claude_code와 같은 범위가 포함되었습니다.