Entwurf von Einschränkungen für die Zuverlässigkeit von KI-Agenten in Produktionsumgebungen

Von fragilen Prompts zu Ausführungsprotokollen

Ein Reddit-Nutzer teilte eine detaillierte Methodik, um über einmaliges Prompting mit Claude hinauszugehen und zuverlässige, produktionsreife Systeme zu schaffen. Der Ansatz konzentriert sich auf das Entwerfen von Einschränkungen statt auf das Schreiben von Anweisungen, demonstriert durch das sichere Entfernen von etwa 140 Dateien aus einer Live-Codebasis ohne fehlerhafte Builds und mit vollständiger Verifizierung.

Schlüsselkomponenten des Einschränkungsdesigns

Das System besteht aus mehreren kritischen Bausteinen, die Prompts in Ausführungsprotokolle verwandeln:

Präzise Rollendefinition

• Verhalten, Grenzen und explizit ausgeschlossene Bereiche definieren
• Vage Aussagen wie „sei ein Experte“ vermeiden
• Ohne dies füllt das Modell Lücken aus und improvisiert

Aufzählung von Fehlermodi

• Frage: „Wie wirst du bei dieser Aufgabe scheitern?“
• Risiken aufdecken, einschließlich: falsche Löschungen, unterbrochene Abhängigkeitsketten, übersprungene Schritte, stille Fehler und Scope Creep
• Wenn Risiken nicht explizit sind, werden sie nicht gemindert

Minderungsmaßnahmen für jeden Fehlermodus

• Explizite Regeln, nicht Vorschläge, anfügen
• Beispiele sind: „keine Ermessensentscheidungen“ (nur auf expliziten Listen handeln), „nach jedem Schritt verifizieren“ (Tests, Prüfungen oder Äquivalente), „bei Fehler stoppen“ (keine Fortsetzung), „Ausgaben für jeden Befehl ausgeben“
• Wenn ein Fehlermodus keine Kontrolle hat, wird er eintreten

Gestaffelte Ausführung mit Kontrollpunkten

• Pre-flight (Ausgangszustand)
• Portionierte Ausführung mit Verifizierung
• Hochriskante Schritte isoliert
• Endgültige Validierung (Tests, Build, Scans)
• Lange Aufgaben erfordern Zustandsvalidierung, sonst driftet das Modell ab

Anti-Kurzschluss-Regeln

• Kein Refactoring
• Keine „Verbesserungen“
• Kein Berühren nicht spezifizierter Dateien
• Kein Überspringen von Verifizierungsschritten
• Kein Fortfahren nach einem Fehler

Ursachen von Fehlern

Der Beitrag identifiziert häufige Fehlermuster bei der Nutzung von KI-Agenten:

• Zu viel implizites Verhalten
• Kein explizites Fehlerbewusstsein
• Keine erzwungene Validierung
• Keine harten Grenzen

Praktische Richtlinien

Der Autor bietet eine Faustregel für Aufgaben mit echten Konsequenzen:

• Keine Rollendefinition → Drift
• Keine Fehlermodi → blinde Flecken
• Keine Sicherheitsvorkehrungen → Halluzination
• Keine Kontrollpunkte → Verlust des Zustands

Dieser Ansatz unterscheidet zwischen Systemen, die „meistens funktionieren“, und solchen, die „zuverlässig genug sind, um in einem echten System vertraut zu werden“. Der Autor betont, dass einmaliges Prompting für komplexe Aufgaben den größten Teil der Fähigkeiten ungenutzt lässt.