Pourquoi les agents de codage préfèrent Grep à LSP pour la plupart des tâches

L'ingénieur d'AgentConnect, Pengcheng Xu, a mené une étude pilote comparant la façon dont les agents de codage utilisent grep par rapport à la navigation sémantique basée sur LSP pour la récupération de code. Le résultat surprenant : les agents choisissent souvent grep même lorsqu'un outil sémantique plus précis est disponible — et forcer le chemin sémantique peut nuire au succès de la tâche.

Routage d'outils façonné par la tâche

Sur trois modèles Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) et plusieurs dépôts, les modèles n'ont choisi l'outil LSP que 0 à 6 % du temps pour les tâches simples de localisation de code lorsque les deux outils étaient disponibles. Pour les tâches d'exhaustivité des références (trouver tous les appelants d'une fonction), ce pourcentage est passé à 45–57 % sans invite.

Forcer un chemin sémantique en premier sur une tâche de localisation a fait chuter le succès de 100 % à 89 %. Le choix de l'outil par le modèle est façonné par la tâche, pas une préférence générale.

Les outils sémantiques ne gagnent que sur les bases de code bruitées

Sur les tâches d'exhaustivité des références, les chemins basés sur LSP ont atteint une précision de 1,00 contre 0,76 pour grep — mais le rappel est resté autour de 0,66 avec les deux. Le goulot d'étranglement n'est pas le bruit de récupération ; c'est la manière dont l'agent parcourt les appelants.

Le facteur décisif pour le gain de précision était le bruit lexical, pas le type de langage. Sur un dépôt TypeScript propre (remeda), LSP n'a ajouté aucun gain de F1 et a brûlé 16 % de jetons en plus. Sur un dépôt TypeScript bruité (hono), LSP a amélioré le F1 de 0,246 et utilisé 12 % de jetons en moins.

La convivialité pour les LLM compte plus que la précision

Un outil n'est pas automatiquement convivial pour les modèles simplement parce que ses résultats sont précis. Il doit renvoyer suffisamment de contexte pour l'étape suivante et le présenter sous une forme que le modèle peut utiliser directement. La familiarité compte aussi — les modèles peuvent avoir appris des chemins d'action de type grep pendant l'entraînement, bien que ce soit une hypothèse, pas une cause prouvée.

Les résultats mettent en évidence un problème d'ingénierie plus large : les modèles n'utilisent pas les outils de manière isolée. Ils travaillent à travers un harnais qui définit les noms d'actions, les entrées et le contexte renvoyé. Votre boucle d'outils fait partie de la surface de capacité du modèle.