클로드 코드에서의 오프태스크 토큰 사용량 측정: '선언되지 않은 의도' 지표

Claude Code용 커스텀 훅을 개발 중인 한 개발자가 선언되지 않은 의도 지출(undeclared-intent spend)이라는 메트릭을 만들어 선언된 목표 외부에서 사용된 토큰을 측정했습니다.

주요 발견

• 한 세션에서 총 컴퓨팅은 5,137토큰이었고, 이 중 1,173개(22.8%)는 선언되지 않은 것으로, 3,964개(77.2%)는 선언된 것으로 분류되었습니다.
• 선언되지 않은 지출은 재시도, 루프, 추론 편향, 작업 외 실행의 비용을 포함하며, 단순한 거버넌스 위반만을 의미하지 않습니다.
• 이 메트릭은 비용을 단순한 청구 원격 측정이 아닌 행동 신호로 취급합니다.

구현 과제

훅 표면이 실제 편향과 결정 불가능한 의도를 구분하기에 충분한 컨텍스트를 항상 제공하지는 않습니다. 저자는 두 가지 뚜렷한 실패 모드를 언급합니다: 진정한 편향(관련 없는 파일/시스템으로 이탈) 대 훅 데이터로 결정 불가능. 각 모드에 따라 다른 대응이 필요합니다.

출력 형식 예시:

Total compute 5,137 tokens
Undeclared 1,173 tokens (22.8%)
Declared 3,964 tokens (77.2%)

소스에서 공유된 도구나 라이브러리는 없으며, 이 게시물은 논의를 위한 것입니다. 저자는 다른 사람들이 작업 외 컴퓨팅을 측정하고 있는지, 아니면 여전히 토큰 지출을 순수하게 청구/최적화로만 취급하는지에 관심이 있습니다.