토큰 리듀서: 지능적인 컨텍스트 압축을 위한 Claude 코드 플러그인

Token Reducer는 중대형 저장소 작업 시 과도한 토큰 소비 문제를 해결하는 Claude Code 플러그인입니다. 이 도구는 컨텍스트를 Claude로 전송하기 전에 로컬에서 저장소 컨텍스트를 처리하여 관련 코드를 잃지 않으면서도 컨텍스트 크기를 크게 줄입니다.

작동 방식

이 플러그인은 컨텍스트를 지능적으로 압축하기 위해 여러 기술을 사용합니다:

• AST 기반 청킹 — 코드를 단순 텍스트 분할 대신 의미 있는 단위(함수, 클래스, 블록)로 파싱합니다
• 하이브리드 검색 — BM25(키워드 매칭)와 벡터 유사성을 결합하여 가장 관련성 높은 청크를 찾습니다
• TextRank 압축 — 추출적 요약을 적용하여 중요한 부분은 유지하고 노이즈는 제거합니다
• 임포트 그래프 매핑 — 종속성을 추적하여 관련 코드가 함께 유지되도록 합니다
• 2-홉 심볼 확장 — 함수 A가 함수 B를 호출할 때 작업 중이면 자동으로 B의 컨텍스트를 가져옵니다

성능 및 테스트

Python, TypeScript, JavaScript 저장소에서의 테스트 결과, 개발자는 작업과 관련된 코드를 잃지 않으면서 컨텍스트 크기를 90-98% 줄였다고 보고합니다. 이 도구는 기본 청커로 시작하여 실제 코딩 작업에 대해 테스트하면서 압축이 효과적이면서도 컨텍스트를 보존하도록 Claude 자체를 사용하여 아키텍처를 반복적으로 개선하며 구축되었습니다.

설치 및 이용 가능성

Token Reducer는 완전 무료이며 MIT 라이선스로 제공됩니다. 설치 방법:

/plugin marketplace add Madhan230205/token-reducer

소스 코드는 GitHub의 github.com/Madhan230205/token-reducer에서 확인할 수 있습니다. 개발자는 압축이 워크플로우에 도움이 되는 경우, 중요한 컨텍스트가 누락되는 경우, 그리고 어떤 언어나 저장소 구조가 더 나은 처리가 필요한지에 대한 피드백을 구하고 있습니다.

기술적 세부사항

이 플러그인은 클라우드 API 없이 완전히 로컬에서 실행되며 데이터가 사용자의 컴퓨터를 떠나지 않습니다. 개발자 자신의 프로젝트에서 안정적으로 작동한 후 Claude Code 플러그인으로 패키징되었습니다. 이 저장소는 다양한 언어에 대한 최적화, 더 스마트한 캐싱 추가, 또는 검색 매개변수 조정을 위한 여지가 있어 기여를 받고 있습니다.