Neun häufige Fehlermuster bei KI-Codierungsagenten und Validierung vor der Ausführung

Ein Reddit-Beitrag aus r/LocalLLaMA beschreibt neun Fehlermuster, die bei KI-Codierungsagenten beobachtet wurden, und schlägt einen Validierungsansatz vor, um sie vor der Codeausführung zu erkennen.

Identifizierte Fehlermuster

Der Autor listet diese spezifischen Probleme auf:

• C1 — Unvollständige Enum-Behandlung: Der Agent verweist auf Statuswerte, die im Codebase nicht existieren.
• C2 — Stille Nullpfade: Optionale Parameter werden stillschweigend übersprungen, ohne Dokumentation.
• C3 — SSE-Authentifizierungsmuster-Missverhältnis: Browser EventSource kann keine benutzerdefinierten Header senden — der Agent verwendet falsche Authentifizierung.
• C4 — Unbegrenzte Textfelder: Keine Kürzung bei Spalten, die vollständige Aufgabenbeschreibungen oder Diffs erhalten.
• C5 — Event/DB-Wettlaufbedingung: Das SSE-Ereignis wird ausgelöst, bevor der DB-Schreibvorgang abgeschlossen ist. Das Frontend fragt eine leere Zeile ab.
• C6 — Schema/ORM-Missverhältnis: SQL-Typ sagt nullable, ORM-Feld sagt erforderlich.
• C7 — Nicht testbare Erwartungen: Testanforderungen ohne Implementierungspfad in der Spezifikation.
• C8 — Nicht-idempotente Einfügungen: Wiederholungslogik erstellt doppelte Zeilen.
• C9 — Halluzinierte Importe: Modul existiert nicht im Codebase.

Validierungsansatz

Der Autor erklärt, dass diese Muster nun als Validierungsphase nach der Planung und vor der Ausführung durchgeführt werden. Dieser Ansatz fängt Berichten zufolge etwa 70 % der Fehler ab, bevor Code ausgeführt wird. Der Beitrag schließt mit der Frage, ob andere ähnliche Vorausführungsvalidierungen in ihre Agenten-Pipelines integrieren.