Warum Coding-Agenten für die meisten Aufgaben Grep gegenüber LSP bevorzugen

Der AgentConnect-Ingenieur Pengcheng Xu führte eine Pilotstudie durch, die vergleicht, wie Codierungsagenten grep gegenüber LSP-gestützter semantischer Navigation zur Codeabfrage nutzen. Das überraschende Ergebnis: Agenten wählen oft grep, selbst wenn ein präziseres semantisches Tool verfügbar ist – und das Erzwingen des semantischen Pfads kann den Erfolg der Aufgabe beeinträchtigen.

Aufgabenabhängige Tool-Auswahl

Bei drei Claude-Modellen (Opus 4.8, Sonnet 4.6, Haiku 4.5) und mehreren Repositories wählten die Modelle das LSP-Tool nur in 0–6% der Fälle für einfache Code-Lokalisierungsaufgaben, wenn beide Tools verfügbar waren. Bei Aufgaben zur Referenzvollständigkeit (jeden Aufrufer einer Funktion finden) stieg dieser Anteil unaufgefordert auf 45–57%.

Das Erzwingen eines semantisch-ersten Pfads bei einer Lokalisierungsaufgabe senkte den Erfolg von 100% auf 89%. Die Tool-Wahl des Modells ist aufgabenabhängig, keine pauschale Präferenz.

Semantische Tools gewinnen nur bei verrauschtem Code

Bei Aufgaben zur Referenzvollständigkeit erreichten LSP-gestützte Pfade eine Präzision von 1.00 gegenüber greps 0.76 – aber der Recall blieb bei beiden bei etwa 0.66. Der Engpass ist nicht das Retrieval-Rauschen, sondern wie gründlich der Agent Aufrufer durchläuft.

Der entscheidende Faktor für den Genauigkeitsgewinn war lexikalisches Rauschen, nicht die Sprachart. Bei einem sauberen TypeScript-Repository (remeda) brachte LSP keinen F1-Gewinn und verbrauchte 16% mehr Tokens. Bei einem verrauschten TypeScript-Repository (hono) verbesserte LSP den F1-Wert um 0.246 und verwendete 12% weniger Tokens.

LLM-Freundlichkeit zählt mehr als Präzision

Ein Tool ist nicht automatisch modellfreundlich, nur weil seine Ergebnisse präzise sind. Es muss genügend Kontext für den nächsten Schritt liefern und ihn in einer Form präsentieren, die das Modell direkt verwenden kann. Auch Vertrautheit spielt eine Rolle – Modelle könnten während des Trainings grep-artige Aktionspfade gelernt haben, obwohl das eine Hypothese und keine bewiesene Ursache ist.

Die Ergebnisse unterstreichen ein breiteres technisches Problem: Modelle nutzen Tools nicht isoliert. Sie arbeiten durch eine Umgebung, die Aktionsnamen, Eingaben und zurückgegebenen Kontext definiert. Ihre Tool-Schleife ist Teil der Fähigkeitsoberfläche des Modells.