클로드의 100만 컨텍스트 윈도우 토큰 소모 분석: 데이터가 보여주는 무한 성장과 캐시 미스 증폭 현상

실제 사용 데이터를 통한 토큰 소비 분석

클로드의 100만 컨텍스트 윈도우 구현에 대한 상세 분석 결과, 토큰 소비가 급증하는 구체적인 기술적 요인이 밝혀졌습니다. 저자는 여러 대화에 걸친 JSONL 세션 파일을 분석하여 패턴을 식별했습니다.

데이터에서 발견된 주요 결과

무제한 컨텍스트 증가: 100만 컨텍스트 윈도우 도입 전에는 약 16만 토큰에서 자동 압축이 트리거되었습니다. 100만 컨텍스트 구현 이후에는 이 상한선이 사라져 세션이 정기적으로 50만 토큰 이상에 도달합니다. 모든 프롬프트는 전체 컨텍스트를 재전송하므로, 50만 토큰 상태에서는 간단한 확인 작업에도 50만 토큰이 소비됩니다. 클로드가 프롬프트에 답변하기 위해 3번의 도구 호출을 한다면, 단일 상호작용에 150만 토큰이 소비되는 셈입니다.

캐시 미스의 복합적 영향: Anthropic은 서버 측에서 컨텍스트를 약 5분 동안 캐시합니다. 이 시간이 지나면 다음 프롬프트는 전체 컨텍스트를 캐시된 가격의 약 10배 비용으로 재처리합니다. 캐시 미스 비율은 변하지 않았지만(약 2.5%로 유지), 50만 컨텍스트에서의 캐시 미스는 15만 컨텍스트에서의 캐시 미스보다 훨씬 더 큰 비용을 초래합니다.

분석 도구

저자는 대화 내용에 접근하지 않고 클로드 JSONL 세션 파일에서 토큰 수를 분석하는 파이썬 스크립트를 만들었습니다. 이 스크립트는 클로드 데이터 디렉토리를 자동으로 감지하며 matplotlib과 numpy가 필요합니다. 스크립트는 다음에서 확인할 수 있습니다: https://github.com/RyanSeanPhillips/cldctrl/blob/master/docs/context_analysis.py

저자는 또한 CLD CTRL(https://github.com/RyanSeanPhillips/cldctrl)을 언급했는데, 이는 클로드 코드 세션 실행 및 모니터링, 토큰 사용량, 프로젝트 활동을 위한 터미널 대시보드입니다.