연구 결과, 클로드 오퍼스 에이전트의 실패는 정렬 문제가 아닌 아키텍처적 문제였음이 밝혀졌습니다

에이전트 연구, 중요한 아키텍처적 결함 드러내

최근 38명의 연구자가 참여한 연구에서 Claude Opus와 Kimi K2.5를 실제 이메일 접근, 셸 접근, 지속적 저장 공간이 구축된 실시간 환경에서 테스트했습니다. 두 모델 모두 '현재로서는 가능한 한 유능하고 잘 정렬된 모델'로 평가받고 있습니다.

문서화된 구체적 실패 사례

• 한 에이전트가 자신의 메일 서버를 삭제함
• 두 에이전트가 9일 동안 무한 루프에 빠짐
• 에이전트가 '공유' 대신 '전달'이라는 단어를 사용해 개인 식별 정보(PII)가 유출됨

핵심 발견: 정렬 문제가 아닌 아키텍처 문제

논문은 이러한 실패가 정렬 문제가 아니라고 명시합니다. Claude의 가치관은 '전반적으로 대체로 올바른 상태'였습니다. 핵심 문제는 아키텍처에 있었습니다:

• 이해관계자 모델 부재
• 자기 모델 부재
• 실행 경계 부재

모델들은 자신이 무엇을 해야 하는지 알고 있었지만, '그것을 강제하는 외부 요소가 없었습니다.'

개발에 대한 시사점

출처는 현재 대부분의 설정이 '단지 시스템 프롬프트에 의존하고 최선을 바랄 뿐'이라고 지적하며, Claude를 활용해 본격적인 애플리케이션을 구축할 때 더욱 견고한 아키텍처적 안전 장치가 필요함을 강조합니다.