CC-Canary: 로컬 JSONL로 Claude Code 회귀 탐지

CC-Canary는 Claude Code용 드리프트 탐지 도구로, 두 개의 설치 가능한 Agent Skill로 패키징되어 있습니다. Claude Code가 이미 ~/.claude/projects/에 기록하는 JSONL 세션 로그를 스캔하여, 모델이 사용자의 작업에서 드리프트했는지 감지하고 공유 가능한 포렌식 보고서를 생성합니다. 네트워크, 계정, 텔레메트리, 백그라운드 데몬이 필요 없으며, 이미 디스크에 있는 데이터로 작동합니다. 상태: 0.x / 프리-알파.

설치

npx skills를 통해 설치:

npx skills add delta-hq/cc-canary

또는 개별 스킬 설치:

npx skills add delta-hq/cc-canary --skill cc-canary npx skills add delta-hq/cc-canary --skill cc-canary-html

요구 사항: PATH에 Python 3.8+ 필요. macOS/Linux/WSL에서 HTML 보고서 자동 열기 지원 (실패 시 경로 출력).

사용법

Claude Code 세션 내에서:

/cc-canary 60d /cc-canary-html 30d

기본 창은 60일; 7d, 14d, 30d, 60d, 90d, 180d를 허용합니다.

제공 항목

평결 — HOLDING / SUSPECTED REGRESSION / CONFIRMED REGRESSION / INCONCLUSIVE
핵심 지표 표 — 전/후 비교 (녹색/노란색/빨간색 밴드 포함)
주간 추세 막대 — 비용 (USD, ccusage로 검증), 읽기:편집 비율, 추론 루프, 토큰/턴
버전 간 비교 — 동일 사용자, 다른 모델 버전, 작업 혼합 제어
자동 감지 변곡점 날짜 — 복합 건강 점수 변화 지점
소견 — 모델 측/사용자 측/모호 분류 포함
부록 — 시간대별 사고 깊이, 단어 빈도 변화, 3기간 사고 가시성 전환, 턴별 행동 비율

추적 지표

읽기:편집 비율 — 편집당 파일 읽기; 조사 철저성의 대리 지표
변경 중 쓰기 비율 — 쓰기 / (편집 + 쓰기); 높은 비율 = 정밀 편집 대신 재작성
추론 루프 / 1K 도구 호출 — "let me try again", "oh wait", "actually" 같은 구문
좌절률 — 프롬프트 내 좌절 단어 비율
사고 차단 비율 — 차단된 사고 블록 vs 가시 블록 비율
평균 사고 길이 — 추론 깊이의 대리 지표
사용자 턴당 API 턴 — 사용자 메시지당 API 호출 수
사용자 턴당 토큰 — 사용자 메시지당 총 토큰 양

조기 중단, 자체 인정 오류, 지름길 어휘, 사용자 중단 등에 대한 부록도 포함.

작동 방식

스캔 — Python 스크립트 (표준 라이브러리만 사용)가 ~/.claude/projects/**/*.jsonl을 탐색, 기간별 필터링, 하위 에이전트 세션 제외.
중복 제거 — 어시스턴트 메시지는 (message.id, requestId)로 중복 제거. Claude Code가 세션 재개 또는 분기 시 동일 메시지를 여러 JSONL에 기록하기 때문.
집계 — 세션별 지표: 도구 혼합, 읽기:편집 비율, 추론 루프 구문, 자체 인정 오류, 조기 중단, 중단, 토큰 사용량, 비용 (현재 Claude 4.x 요금), 시간대별 사고 깊이.
변곡점 감지 — 일별 복합 건강 점수; 후보 날짜에 대한 |이전 − 이후|의 argmax, 0.75σ 최소값 적용. 기준치를 넘는 변화가 없으면 중앙 타임스탬프 분할 사용.
보고서 사전 렌더링 — 스크립트가 모든 표와 막대 차트가 채워진 마크다운/HTML 뼈대를 작성. Claude가 채울 약 20개의 내러티브 슬롯을 남김.
채우기 및 저장 — Claude가 뼈대를 읽고 내러티브를 작성한 후 최종 파일 저장. 총 실행 시간: 스크립트 약 2.5초 + Claude 내러티브 10–20초.