なぜコーディングエージェントはほとんどのタスクでLSPよりもgrepを好むのか

AgentConnectのエンジニアであるPengcheng Xu氏は、コーディングエージェントがコード検索にgrepとLSPベースのセマンティックナビゲーションをどのように使い分けるかについてのパイロット研究を実施しました。驚くべき結果は、エージェントはより正確なセマンティックツールが利用可能な場合でもgrepを選択することが多く、セマンティックパスを強制するとタスクの成功率が損なわれる可能性があることです。

タスクに応じたツール選択

3つのClaudeモデル（Opus 4.8、Sonnet 4.6、Haiku 4.5）と複数のリポジトリにわたり、モデルが両方のツールを利用できる単純なコード位置特定タスクでは、LSPツールを選択したのはわずか0〜6%でした。参照完全性タスク（関数のすべての呼び出し元を見つける）では、プロンプトなしで45〜57%に跳ね上がりました。

位置特定タスクでセマンティックファーストパスを強制すると、成功率は100%から89%に低下しました。モデルのツール選択はタスクに応じて決まり、一括した好みではありません。

セマンティックツールが有利なのはノイズの多いコードベースのみ

参照完全性タスクでは、LSPベースのパスはgrepの0.76に対して1.00の精度を達成しましたが、再現率は両者とも約0.66のままでした。ボトルネックは検索ノイズではなく、エージェントが呼び出し元をどの程度徹底的にたどるかです。

精度向上の決定要因は言語タイプではなく、語彙的なノイズでした。クリーンなTypeScriptリポジトリ（remeda）では、LSPはF1スコアの向上をもたらさず、トークンを16%多く消費しました。ノイズの多いTypeScriptリポジトリ（hono）では、LSPはF1スコアを0.246向上させ、トークンを12%削減しました。

LLMにとっての使いやすさが精度よりも重要

ツールは、結果が正確だからといって自動的にモデルに優しいわけではありません。次のステップに十分なコンテキストを返し、モデルが直接使用できる形で提示する必要があります。親しみやすさも重要です。モデルはトレーニング中にgrepスタイルのアクションパスを学習している可能性がありますが、これは仮説であり、証明された原因ではありません。

この結果は、より広範なエンジニアリング問題を浮き彫りにしています。モデルはツールを単独で使用するわけではないのです。アクション名、入力、返されるコンテキストを定義するハーネスを介して動作します。ツールループはモデルの機能面の一部です。