Por que agentes de codificação preferem Grep em vez de LSP para a maioria das tarefas

O engenheiro da AgentConnect, Pengcheng Xu, realizou um estudo piloto comparando como agentes de codificação usam grep versus navegação semântica baseada em LSP para recuperação de código. O resultado surpreendente: os agentes frequentemente escolhem grep mesmo quando uma ferramenta semântica mais precisa está disponível — e forçar o caminho semântico pode prejudicar o sucesso da tarefa.

Roteamento de ferramentas moldado pela tarefa

Em três modelos Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) e vários repositórios, os modelos escolheram a ferramenta LSP apenas 0–6% das vezes para tarefas simples de localização de código quando ambas as ferramentas estavam disponíveis. Em tarefas de completude de referência (encontrar todos os chamadores de uma função), esse número saltou para 45–57% sem solicitação.

Forçar um caminho semântico primeiro em uma tarefa de localização reduziu o sucesso de 100% para 89%. A escolha da ferramenta pelo modelo é moldada pela tarefa, não uma preferência geral.

Ferramentas semânticas só vencem em bases de código ruidosas

Em tarefas de completude de referência, caminhos baseados em LSP atingiram precisão de 1,00 versus 0,76 do grep — mas a revocação permaneceu em torno de 0,66 com ambos. O gargalo não é o ruído na recuperação; é quão completamente o agente percorre os chamadores.

O fator decisivo para o ganho de precisão foi o ruído lexical, não o tipo de linguagem. Em um repositório TypeScript limpo (remeda), o LSP não adicionou ganho de F1 e queimou 16% mais tokens. Em um repositório TypeScript ruidoso (hono), o LSP melhorou o F1 em 0,246 e usou 12% menos tokens.

Amigabilidade para LLM importa mais que precisão

Uma ferramenta não é automaticamente amigável ao modelo apenas porque seus resultados são precisos. Ela deve retornar contexto suficiente para o próximo passo e apresentá-lo em uma forma que o modelo possa usar diretamente. Familiaridade também importa — os modelos podem ter aprendido caminhos de ação estilo grep durante o treinamento, embora isso seja uma hipótese, não uma causa comprovada.

Os resultados destacam um problema de engenharia mais amplo: os modelos não usam ferramentas isoladamente. Eles trabalham através de um harness que define nomes de ações, entradas e contexto retornado. Seu loop de ferramentas faz parte da superfície de capacidades do modelo.