유출된 클로드 코드로 드러난 KAIROS 시스템과 AI 에이전트의 검증 격차

유출로 드러난 내용

Anthropic이 npm 패키지에 소스 맵을 실수로 포함시켜 Claude Code 코드베이스 전체가 노출되었습니다. 이 유출에는 512K 줄의 TypeScript 코드, 44개의 기능 플래그, 그리고 KAIROS라는 숨겨진 시스템이 포함되어 있습니다.

KAIROS는 사용자가 유휴 상태일 때 여러 기능을 수행하는 항상 실행 중인 백그라운드 에이전트로 설명됩니다:

• 메모리 통합
• 관찰 결과 병합
• 모순 제거
• 사용자가 돌아왔을 때 깨끗한 상태로 준비된 컨텍스트 제공

독립 개발 경험

Claude Code로 668K 줄의 TypeScript 플랫폼을 구축하는 한 명의 개발자가 KAIROS가 해결하는 것과 동일한 한계에 직면했습니다. 그들은 컨텍스트 창 경계를 넘어 컨텍스트를 유지하는 지속 상태 파일을 사용하여 여러 세션에 걸친 자율 캠페인을 실행합니다.

문제점: 캠페인이 세션 사이에서 멈춥니다. 한 단계를 마치고 나중에 돌아왔을 때, 개발자는 에이전트의 메모리가 세션과 함께 사라지기 때문에 수동으로 재시작하고 캠페인 파일을 다시 읽으며 작업이 중단된 지점을 파악해야 합니다.

그들이 구축한 해결책: 예약된 트리거를 통해 세션을 연결하는 데몬입니다. 한 세션이 종료되면 상태를 기록하고 코드 0("오류 없음")으로 종료되며, 데몬은 이 종료를 감지하여 다음 세션을 전체 컨텍스트와 함께 생성합니다. 이로 인해 수동 재시작으로 일주일이 걸리던 캠페인이 한 번에 완료되도록 단축되었습니다.

검증 문제

개발자는 종료 코드 0이 "오류 없음"을 의미하지만 "작동함"을 의미하지는 않는다는 사실을 발견했습니다. 데몬을 처음 실행한 밤에, 에이전트가 보이지 않는 기능을 배포했습니다. 전체 캠페인이 깨끗한 타입 체크, 제로 경고, 확신에 찬 종료로 완료되었지만, 실제 애플리케이션에서 38개 엔티티 중 37개가 누락되었습니다.

다른 사례에서는, 함대 세션이 6개의 작동하는 컴포넌트를 병렬로 교체하여 컴포넌트가 "Running NaN"을 표시하고 타임라인이나 핵심 정보가 없는 결과를 초래했습니다. 에이전트들은 자신들이 구축한 것을 렌더링하지 않았습니다. 그들은 단지 컴파일이 되었는지 확인하고 다음으로 넘어갔을 뿐입니다.

검증 계층 솔루션

개발자는 "데몬만으로는 고장난 코드를 더 빠르게 배포하는 방법일 뿐"이라는 사실을 깨달았습니다. 그들은 에이전트가 자신의 작업을 시각적으로 증명하도록 강제하는 검증 계층을 구축했습니다:

• 실제 브라우저에서 실제 경로 탐색
• DOM 요소 개수 세기
• 스크린샷 캡처
• 38개의 엔티티 카드가 있어야 할 뷰에 0개가 있으면 시스템이 이를 포착
• 에이전트가 UI 파일을 수정한 경우, 스크린샷 아티팩트 없이는 완료할 수 없음

이것은 제안이 아닌 강력한 게이트로 구현되었습니다.

근본적인 격차

KAIROS는 메모리 문제를 해결하지만 검증 문제는 해결하지 못합니다. 관찰 결과를 병합하고 모순을 제거하며 모호한 통찰력을 구체적인 사실로 변환하는 동안, 메모리 통합이나 데몬 모드 모두 근본적인 격차를 해결하지 못합니다: 에이전트들은 자신의 작업을 시각적으로 검증할 수 없습니다. 그들은 구조를 증명할 수 있지만 외관을 증명할 수는 없습니다.

개발자는 Anthropic의 KAIROS와 그들의 독립 솔루션 사이의 수렴이 실제 한계를 나타낸다고 지적합니다: 일단 세션이 충분히 길어지고 캠페인이 며칠에 걸쳐 진행되면, 지속적인 백그라운드 실행은 불가피해집니다. 그러나 "데몬은 쉬운 부분입니다. 누구나 세션을 연결할 수 있습니다. 어려운 부분은 데몬이 확신에 차게 배포할 실패를 포착하는 인프라를 구축하는 것입니다."

핵심 요약

어떤 형태의 자율 에이전트 실행을 구축하고 있다면, 배포하기 전에 한 가지 질문을 하세요: 내 에이전트가 구축한 것이 실제로 작동한다는 것을 증명할 수 있는가? 만약 답이 "컴파일되었습니다"라면, 당신도 같은 문제에 직면할 가능성이 높습니다. 개발자의 27개의 문서화된 사후 분석은 그들에게 "데몬은 힘의 승수입니다. 품질 계층 없이는 실패를 증폭시킵니다"라는 교훈을 가르쳤습니다.

데몬, 검증 계층, 캠페인 지속성 시스템은 github.com/SethGammon/Citadel에서 오픈소스로 제공됩니다.