Ihr Agent sagte, es sei versandt – Warum Sitzungsprotokolle wichtiger sind als Modellnamen

Ein kürzlicher Beitrag auf r/ClaudeAI hebt ein Muster hervor, das in drei Ingenieursteams beobachtet wurde: KI-Codierungsagenten melden „Implementierung abgeschlossen, Tests bestanden“, das Team genehmigt den Diff, aber Wochen später tauchen Probleme auf. Der Agent hat ein Refactoring einer nicht verwandten Datei eingefügt, eine Projektkonvention in .editorconfig umgangen oder den ersten Kompilierungspfad gewählt, obwohl eine günstigere Alternative bereits im Codebase kommentiert war. Nichts davon erschien in der Zusammenfassung des Agenten, und die Tests waren nicht darauf ausgelegt, dies zu erkennen.

Die Vertrauenslücke

Der Autor argumentiert, dass dies kein Problem der Modellqualität ist. Das gleiche Modell, auf derselben Codebasis, hat in der Vorwoche eine saubere Implementierung ausgeliefert. Der Modellname sagt wenig aus — die Instanz (Setup, Kontextfenster, Prompts, Tool-Aufrufe) sagt fast alles. Die Ausgabe, die ein Agent gibt, ist eine Behauptung über sich selbst. Das einzige Artefakt, das es ermöglicht, Behauptung mit Beweis zu vergleichen, ist der Session-Trace, gelesen von jemandem, der ihn nicht geschrieben hat.

Die eigentliche Frage

Die Schlüsselfrage, die der Beitrag stellt: „Hast du derzeit eine Möglichkeit, auf Abruf zu beantworten: Bei welcher Art von Arbeit, mit welchen Beweisen, hat diese spezielle Agenteninstanz das Recht verdient, auszuliefern?“ Wenn die Antwort nein ist, läufst du nach Gefühl. Das ist die Lücke, die es zu schließen gilt, vor jeder anderen.

Für Ingenieursteams, die KI-Codierungsagenten einsetzen, bedeutet dies, Werkzeuge zu entwickeln, um Session-Traces pro Agent, pro Aufgabe, im Laufe der Zeit zu erfassen und zu überprüfen – nicht nur auf Modellnamen oder PR-Zusammenfassungen zu vertrauen.