トークンリデューサー：インテリジェントなコンテキスト圧縮のためのClaudeコードプラグイン

Token Reducerは、中規模から大規模なリポジトリを扱う際の過剰なトークン消費という問題に対処するClaude Codeプラグインです。このツールは、Claudeに送信する前にリポジトリのコンテキストをローカルで処理し、関連するコードを失うことなくコンテキストサイズを大幅に削減します。

仕組み

このプラグインは、コンテキストを知的に圧縮するためにいくつかの技術を使用します：

• ASTベースのチャンキング — コードを単純なテキスト分割ではなく、意味のある単位（関数、クラス、ブロック）に解析します
• ハイブリッド検索 — BM25（キーワードマッチング）とベクトル類似性を組み合わせて、最も関連性の高いチャンクを見つけます
• TextRank圧縮 — 重要な部分を保持し、ノイズを除去するための抽出要約を適用します
• インポートグラフマッピング — 依存関係を追跡し、関連するコードがまとまるようにします
• 2ホップシンボル拡張 — 関数Bを呼び出す関数Aを扱う際、自動的にBのコンテキストを取り込みます

性能とテスト

Python、TypeScript、JavaScriptのリポジトリでのテストでは、開発者はタスクに関連するコードを失うことなく、コンテキストサイズを90〜98％削減したと報告しています。このツールは、Claude自体を使用してアーキテクチャを反復的に構築し、基本的なチャンカーから始めて実際のコーディングタスクに対してテストを行い、圧縮が効率的でありながらコンテキストを保持するようにしました。

インストールと利用可能性

Token Reducerは完全に無料でMITライセンスです。インストール方法：

/plugin marketplace add Madhan230205/token-reducer

ソースコードはGitHubのgithub.com/Madhan230205/token-reducerで利用可能です。開発者は、圧縮がワークフローにどのように役立つか、重要なコンテキストが失われるケース、どの言語やリポジトリ構造がより良い処理を必要とするかについてのフィードバックを求めています。

技術詳細

このプラグインは完全にローカルで実行され、クラウドAPIは使用せず、データがマシンから流出することはありません。開発者自身のプロジェクトで確実に動作した後、Claude Codeプラグインとしてパッケージ化されました。リポジトリは貢献を受け付けており、異なる言語への最適化、よりスマートなキャッシングの追加、検索パラメータの調整などの余地があります。