ベンチマークにより、CLIツールが構造ナビゲーションを通じてClaudeコードトークンコストを32％削減することが示されました

開発者が、ScopeというCLIツールをオープンソース化しました。このツールは、Claude Codeエージェントに「参照の検索」や「定義へ移動」などのIDE機能に似た、構造的なコードナビゲーション機能を提供します。このツールは、tree-sitterとSQLiteを使用してRustで構築されました。

ツールの機能

このツールは、エージェントに次のようなコマンドを提供します：

• 「この6,000トークンのクラスの180トークン要約を表示」
• 「コードの名前ではなく、その機能で検索」

現在、TypeScriptとC#をサポートしており、エージェントがデフォルトのgrepベースのアプローチよりも効率的にコードをナビゲートできるようにすることを目指しています。

ベンチマーク手法

開発者は、181ファイルのC#コードベースで、Sonnet 4.6を使用して54回の自動実行を実施しました：

• 6つのタスクカテゴリ
• 3つの条件：ベースライン、ツール利用可能、アーキテクチャをCLAUDE.mdに事前読み込み
• 各条件を3回繰り返し

すべての実行で完全なNDJSONキャプチャが記録され、トークンを新規入力、キャッシュ作成、キャッシュ読み取り、出力に分解しました。ベンチマークランナーとテレメトリキャプチャはリポジトリに含まれています。

主な発見

予想に反して、ツールを使用したエージェントはより多くのファイルを読み取り（平均6.8から9.7ファイル、ベースライン比）ましたが、セッションあたりのコード編集が67％増加し、より少ないターンで完了しました。

コスト削減は、より短い会話によるキャッシュ蓄積の減少からもたらされました。トークンコストの約90％はキャッシュ蓄積に起因しています。

全体の結果：

• タスクあたりのコストが32％削減
• ナビゲーション効率が2倍向上（編集あたりのナビゲーションアクション）
• ナビゲーション対編集比率が25:1（ベースライン）から13:1（ツール使用時）、12:1（アーキテクチャ事前読み込み時）に改善

結果はタスクタイプによって異なりました：

• バグ修正：コスト62％削減
• 新機能：コスト49％削減
• 横断的変更：コスト46％削減
• 発見とリファクタリングタスク：利点なし（ベースラインエージェントは既にこれらを適切にナビゲート）

重要な注意点

開発者は、いくつかの制限を指摘しています：

• p値はn=6のペア観測で0.05に達していない（傾向は一貫しているが、統計的有意性を得るにはサンプルが小さすぎる）
• これまでC#のみでベンチマーク実施（TypeScriptサポートは存在するが、まだベンチマークされていない）
• コスト計算は現在のSonnet 4.6 APIレートを使用：新規入力 $3/M、キャッシュ書き込み $3.75/M、キャッシュ読み取り $0.30/M、出力 $15/M

このツールはオープンソースであり、エージェントのトークン効率向上を実験したい開発者は、github.com/rynhardt-potgieter/scopeで利用できます。