Почему агенты кодирования предпочитают grep вместо LSP для большинства задач

Инженер AgentConnect Пэнчэн Сюй провел пилотное исследование, сравнивающее, как агенты кодирования используют grep и семантическую навигацию на основе LSP для поиска кода. Удивительный результат: агенты часто выбирают grep, даже когда доступен более точный семантический инструмент — и принудительное использование семантического пути может навредить успеху выполнения задач.

Выбор инструмента зависит от задачи

На трех моделях Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) и нескольких репозиториях модели выбирали инструмент LSP только в 0–6% случаев для простых задач поиска кода, когда оба инструмента были доступны. Для задач полноты ссылок (найти всех вызывающих функцию) этот показатель вырос до 45–57% без подсказки.

Принудительное использование семантического пути для задачи локализации снизило успех со 100% до 89%. Выбор инструмента моделью зависит от задачи, а не является общим предпочтением.

Семантические инструменты выигрывают только на шумных кодовых базах

В задачах полноты ссылок пути на основе LSP достигли точности 1.00 против 0.76 у grep, но полнота оставалась около 0.66 в обоих случаях. Узкое место не в шуме поиска, а в том, насколько тщательно агент обходит вызывающих.

Решающим фактором увеличения точности был лексический шум, а не тип языка. В чистом TypeScript-репозитории (remeda) LSP не дал прироста F1 и сжег на 16% больше токенов. В шумном TypeScript-репозитории (hono) LSP улучшил F1 на 0.246 и использовал на 12% меньше токенов.

Дружелюбность к LLM важнее точности

Инструмент не автоматически дружественен модели только потому, что его результаты точны. Он должен возвращать достаточно контекста для следующего шага и представлять его в форме, которую модель может использовать напрямую. Знакомство тоже имеет значение — модели могли выучить пути действий в стиле grep во время обучения, хотя это гипотеза, а не доказанная причина.

Результаты подчеркивают более широкую инженерную проблему: модели не используют инструменты изолированно. Они работают через обвязку (harness), которая определяет имена действий, входные данные и возвращаемый контекст. Ваш цикл инструментов — часть поверхности возможностей модели.