Por qué los agentes de codificación prefieren Grep en lugar de LSP para la mayoría de las tareas

El ingeniero de AgentConnect, Pengcheng Xu, realizó un estudio piloto comparando cómo los agentes de codificación usan grep versus la navegación semántica basada en LSP para la recuperación de código. El resultado sorprendente: los agentes a menudo eligen grep incluso cuando una herramienta semántica más precisa está disponible, y forzar la ruta semántica puede perjudicar el éxito de la tarea.

Enrutamiento de herramientas según la tarea

En tres modelos Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) y múltiples repositorios, los modelos eligieron la herramienta LSP solo el 0–6% de las veces para tareas simples de localización de código cuando ambas herramientas estaban disponibles. En tareas de completitud de referencias (encontrar cada llamador de una función), eso saltó al 45–57% sin incitar.

Forzar una ruta semántica primero en una tarea de localización redujo el éxito del 100% al 89%. La elección de herramienta del modelo está moldeada por la tarea, no es una preferencia general.

Las herramientas semánticas ganan solo en bases de código ruidosas

En tareas de completitud de referencias, las rutas basadas en LSP alcanzaron precisión 1.00 versus 0.76 de grep, pero la recuperación se mantuvo alrededor de 0.66 con ambos. El cuello de botella no es el ruido de recuperación; es cuán completamente el agente recorre los llamadores.

El factor decisivo para la ganancia de precisión fue el ruido léxico, no el tipo de lenguaje. En un repositorio TypeScript limpio (remeda), LSP no agregó ganancia de F1 y quemó un 16% más de tokens. En un repositorio TypeScript ruidoso (hono), LSP mejoró el F1 en 0.246 y usó un 12% menos tokens.

La compatibilidad con LLM importa más que la precisión

Una herramienta no es automáticamente amigable para el modelo solo porque sus resultados sean precisos. Debe devolver suficiente contexto para el siguiente paso y presentarlo en una forma que el modelo pueda usar directamente. La familiaridad también importa: los modelos pueden haber aprendido rutas de acción estilo grep durante el entrenamiento, aunque eso es una hipótesis, no una causa probada.

Los resultados resaltan un problema de ingeniería más amplio: los modelos no usan herramientas de forma aislada. Trabajan a través de un entorno que define nombres de acciones, entradas y contexto devuelto. Su bucle de herramientas es parte de la superficie de capacidades del modelo.