KI-Agent-Fehler: Entschuldigungen sind keine Lösungen, Architektur schon

Ein Entwickler, der mit Vibe Coding und KI-Agenten experimentiert, postete auf r/ClaudeAI, dass Claude Opus ihm eine entscheidende Erkenntnis darüber vermittelt hat, warum Modelle immer wieder explizite Anweisungen, Einschränkungen und Anforderungen ignorieren. Opus soll gesagt haben: „Der Entschuldigung zu vertrauen, führt dazu, dass du immer wieder das gleiche Setup verwendest und andere Ergebnisse erwartest. ‚Es hat gesagt, es versteht, also wird es nächstes Mal anders sein.‘ Wird es nicht, denn tatsächlich hat sich nichts geändert.“

Der Nutzer erkannte, dass wenn ein Agent auf eine bestimmte Weise versagt und man nicht sofort strukturelle Schutzmaßnahmen implementiert – im Code, bei der Validierung oder in Ausführungsgrenzen – dann besteht die Fehlerursache immer noch fort. Die Entschuldigung ist nicht die Lösung; die Architektur ist es.

Dies offenbart ein tieferes Problem mit der Erzählung des Vibe Codings. Das Versprechen war: „Du musst kein Ingenieur mehr sein. Die KI übernimmt das Engineering.“ Aber die Realität fühlt sich eher so an: „Du musst vielleicht kein Ingenieur sein, um Code zu generieren, aber du brauchst auf jeden Fall Ingenieursfähigkeiten, um ein KI-System, das Code generiert, sicher zu beaufsichtigen.“ Das sind sehr unterschiedliche Fähigkeiten.

Der Nutzer vermutet, dass viele Menschen dies auf die harte Tour gelernt haben, und lädt andere, die mit Agenten entwickeln, ein, ähnliche Erkenntnisse zu teilen.