사용자가 제작한 Claude 코드용 PTC가 코드 작성이 아닌 분석 작업에서 40-65%의 토큰 절감 효과를 보여줍니다.

한 개발자가 Claude Code용 로컬 프로그래매틱 툴 콜링(PTC) 구현체를 구축하고 실제 혜택을 측정하기 위해 79개의 실제 사용 세션을 분석했습니다. PTC는 일반적인 툴 콜링과 달리 에이전트가 격리된 환경에서 실행되는 코드를 작성하며, 모든 중간 단계 대신 최종 결과만 컨텍스트 창에 입력됩니다.

구축된 내용

개발자는 Claude Code에 PTC와 유사한 기능을 제공하는 로컬 MCP 서버인 Thalamus를 만들었습니다. 이는 execute()(기본 기능으로 파이썬 실행), search, remember, context 네 가지 도구를 포함합니다. 구현체는 143개의 테스트를 보유하며, 파이썬 표준 라이브러리만 사용하고 완전히 로컬에서 실행됩니다. 개발자는 이 구현체가 Anthropic의 공식 PTC가 아닌 자체 구현체임을 강조합니다.

79개 세션에서 측정된 결과

• 호출당 토큰 사용량: execute() 평균 ~2,600자 대비 Read 평균 ~4,400자
• JSONL 크기 감소: PTC를 사용한 세션에서 -15.6% 크기 감소
• 분석/연구 작업 절감률: 40-65%
• 코드 작성 작업 절감률: ~0%

개발자는 이러한 실제 수치가 Anthropic과 Cloudflare가 보고한 최적 시나리오의 "98%" 절감률과는 "거리가 멀다"고 언급합니다.

에이전트의 실제 execute() 사용 방식

112개의 execute() 호출에 대한 내용 분석 결과:

• 64%는 표준 파이썬(os.walk, open, sqlite3, subprocess)을 사용 — PTC 기본 기능이 아님
• 30%는 단일 기본 기능(하나의 fs.read 또는 fs.grep) 사용
• 5%는 진정한 일괄 처리(2개 이상의 기본 기능 결합) 수행

"5개의 Read를 1개의 execute로 대체" 패턴은 실제 사용의 5%에서만 발생했습니다. 에이전트는 주로 프로젝트 외부 파일 접근, 집계 실행, 데이터베이스 쿼리를 위한 범용 계산 환경으로 execute()를 사용했습니다.

도입 패턴

초기 측정에서는 세션의 25%만 PTC를 사용했으며, 에이전트는 기본적으로 Read/Grep/Glob을 사용했습니다. CLAUDE.md에 ~1,100 토큰의 운영 매뉴얼을 추가한 후 도입률은 42.9%로 급증했습니다. 코드 작성(Edit + Bash 중심)에 집중한 세션에서는 PTC 사용이 전혀 없었습니다.

개발자는 PTC가 분석, 디버깅, 크로스 파일 연구 작업에서는 빛을 발하지만, 편집 중심 개발 워크플로에서는 그렇지 않다고 결론지었습니다.