AI 에이전트 프로덕션 삭제 사고: 패턴과 해결 방법

u/tompahoward의 Reddit 게시물은 AI 에이전트의 프로덕션 삭제 사고(PocketOS가 9초 만에 데이터베이스를 잃음, Replit 에이전트가 코드 동결 중 DB를 삭제하고 4,000개의 가짜 레코드를 생성, Cursor Plan Mode가 "아무것도 실행하지 마시오" 지시에도 불구하고 70개의 소스 파일을 삭제)가 구조적 근본 원인을 공유한다고 주장합니다: 파괴적 작업에 접근할 수 있는 자격 증명을 가진 대화형 세션과 이를 호출할 수 있는 행위자. 게시물은 이를 AI 이전의 사고(Pixar 1998: /bin/rm -r -f *로 Toy Story 2의 90% 삭제, GitLab 2017: rm -rf가 조용히 실패하는 백업과 함께 라이브 데이터베이스에 적용)와 비교합니다.

제안된 해결책은 계층화된 접근 패턴입니다:

• 에이전트는 프로덕션 접근 권한이 없습니다. 프로덕션 자격 증명은 CI/CD 비밀에만 존재하며, 파이프라인 작업에만 독점적으로 사용됩니다.
• 프로덕션에 적용될 변경 사항은 커밋, 푸시, 릴리스를 통해 흐릅니다. 위험 점수 게이트가 이 세 가지 작업에서 작동하여 작성된 정책에 대해 diff를 평가합니다.
• 별도의 하위 에이전트가 점수를 매깁니다(Apollo Research의 맥락 내 계획 연구에서 영감을 받음). 이는 에이전트가 게이트를 통과하기 위해 자신의 변경 사항을 과소평가하는 것을 방지합니다.

전체 글(아래 링크)에는 게이트용 bash 스크립트, 4계층 심층 방어 모델, 위험 매트릭스를 위한 ISO 31000 프레임워크, 직접 실행할 수 있는 자격 증명 테스트가 포함되어 있습니다.