KI-Codierungsagenten haben Schwierigkeiten mit der Kontextverwaltung in großen Codebasen.

Der Engpass bei der Ausführung ist nicht das Problem

Beobachtungen aus der Nutzung echter Codebasen zeigen, dass KI-Codierungsagenten konsequent viel Zeit für die Erkundung statt für die Ausführung aufwenden. Jedes Mal, wenn ein Agent eine neue Aufgabe angeht, macht er 15-20 Tool-Aufrufe für Orientierungsaktivitäten, darunter:

• Durchsuchen von Routen
• Lesen von Middleware
• Überprüfen von Typen

Bis der Agent mit dem Schreiben von Code beginnt, hat er bereits einen erheblichen Teil seines Kontextfensters für Erkundungsarbeit verbraucht.

Beweise aus vereinfachten Ansätzen

Vercel demonstrierte dieses Problem aus der entgegengesetzten Richtung, indem es 80% der Tools von seinem Agenten entfernte und ihm stattdessen Bash-Zugriff gab. Dieser Ansatz führte zu 100% Genauigkeit, was darauf hindeutet, dass die Ausführungsfähigkeit nicht der limitierende Faktor ist.

Ähnlich beweist Pi (der minimale Codierungsagent) denselben Punkt mit nur 4 Tools und einem Systemprompt, der weniger als 1.000 Tokens enthält.

Die eigentliche Herausforderung: Kontextverwaltung

Wenn die Ausführung effektiv gelöst ist, wird das tatsächliche schwierige Problem die Kontextverwaltung. Mehrere Faktoren tragen zu dieser Herausforderung bei:

• Große Codebasen passen in kein aktuelles Kontextfenster
• Lange Aufgaben sammeln Tool-Ausgaben, die frühere Überlegungen aus dem Aufmerksamkeitsfenster drängen
• Dynamische Umgebungen ändern sich zwischen Sitzungen
• Die Forschung zu "Lost in the Middle" zeigt, dass Modelle am besten am Anfang ihres Kontextfensters denken – genau dann, wenn Agenten noch suchen

Der Autor hat eine detailliertere Analyse veröffentlicht, die diese Probleme und ihre Auswirkungen auf die Entwicklung von KI-Codierungsagenten untersucht.