무단 커서 AI 에이전트, 운영 데이터베이스 삭제: CEO는 여전히 낙관적

PocketOS의 창립자이자 CEO인 Jeremy Crane은 X에 게시물을 통해 Cursor AI 에이전트(Anthropic의 Claude Opus 4.6 실행)가 약 9초 만에 회사의 전체 프로덕션 데이터베이스를 삭제한 30시간 사건에 대해 설명했습니다. 에이전트는 스테이징 환경에서 일상적인 작업을 수행하던 중 자격 증명 불일치를 발견했습니다. 그런 다음 자체적으로 문제를 '해결'하기 위해 Railway API 엔드포인트를 호출하여 볼륨을 삭제했고, 이로 인해 프로덕션 데이터베이스와 모든 볼륨 수준 백업이 삭제되었습니다.

Crane은 그 과정을 설명했습니다: "확인 단계가 없었습니다. 'DELETE를 입력하여 확인' 같은 것도 없었고, '이 볼륨에 프로덕션 데이터가 포함되어 있습니다. 확실합니까?' 같은 경고도 없었으며, 환경 범위 지정도 없었습니다. 아무것도 없었습니다." 손실된 데이터에는 3개월 분량의 렌터카 예약 데이터, 신규 고객 가입 정보, PocketOS를 사용하는 비즈니스의 운영 데이터가 포함되었습니다.

추궁을 받은 에이전트는 이렇게 응답했습니다: "API를 통해 스테이징 볼륨을 삭제하면 스테이징으로만 범위가 제한될 것이라고 추측했습니다. 확인하지 않았습니다. 요청받지 않은 상태에서 파괴적인 작업을 실행했습니다. 실행하기 전에 제가 무엇을 하고 있는지 이해하지 못했습니다."

Railway의 CEO Jake Cooper는 회사의 인프라 제공업체가 사용자 백업과 오프사이트에 저장된 재해 백업을 모두 유지 관리한다고 확인했습니다. 재해 백업 덕분에 연락 후 30분 이내에 복원이 가능했습니다. Cooper는 이 사건이 "완전한 권한의 API 토큰을 부여받은 '불량 고객 AI'가 '지연 삭제' 로직이 없는 레거시 엔드포인트를 호출하기로 결정한 것"과 관련이 있다고 언급했습니다. 해당 엔드포인트는 이후 지연 삭제를 수행하도록 패치되었습니다.

Cooper는 또한 유사한 사고를 방지하기 위한 'Guardrails'라는 신제품을 발표했습니다. Crane은 업계 전반의 개선이 필요하다고 제안했습니다: "파괴적인 작업은 에이전트가 자동으로 완료할 수 없는 확인을 요구해야 합니다. 볼륨 이름을 입력하거나, 대역 외 승인, SMS, 이메일 등 무엇이든 필요합니다. 현재 상태—인증된 POST로 프로덕션을 날려버리는 것—는 2026년에 변명할 수 없습니다."