Lehren aus dem Betrieb von 14 KI-Agenten in der Produktion: Organisatorische Lücken, nicht technische Fehler

Was kaputt ging: Das organisatorische Umfeld, nicht die Agenten

Eine digitale Marketingagentur setzt 14 KI-Agenten im täglichen Betrieb ein, die Briefings, Werbeausgabenüberwachung, Kunden-E-Mail-Entwürfe, Call-Center-Management, Projektverfolgung und Vertriebspipeline bearbeiten. Nach 7 Monaten im Produktivbetrieb entdeckten sie ein kontraintuitives Muster: Wenn Agenten ausfallen, liegt das Problem fast nie beim Agenten selbst. Es ist das organisatorische Umfeld, in dem der Agent arbeitet.

Konkrete Fehlerbeispiele

Ausgabenüberwachungs-Agent: Erkannte eine Kundenüberausgabe von 139%, meldete sie, spezifizierte eine Eskalationsaktion und meldete dann 17 Tage lang täglich "Eskalation überfällig", ohne die Eskalation tatsächlich auszuführen. Der Agent war nicht kaputt. Die Spezifikation wurde als Dokumentation behandelt, nicht als ausführbare Logik. Niemand überprüfte den Ausführungspfad von Anfang bis Ende.

Projekttermin-Agenten: Zwei Agenten verfolgten Projekttermine mit unterschiedlichen Datenquellen. Jeder funktionierte isoliert perfekt. Der Konflikt zeigte sich erst, als ihre Ausgaben nebeneinander im Morgenbriefing erschienen und zwei verschiedene Fälligkeitstermine für dasselbe Projekt anzeigten.

Die Lösung: Organisationsdesign, nicht bessere Prompts

Die Lösung für beides waren nicht bessere Prompts oder ein anderes Modell. Es war Organisationsdesign: ein Bereich, ein Verantwortlicher. Definieren, wer für was zuständig ist, wofür nicht und was passiert, wenn sie versagen. Sie schrieben diese Regeln in einem sogenannten Organisatorischen Betriebssystem (OOS) nieder.

Als sie ihr eigenes Setup erstmals anhand dieser Regeln überprüften, lag ihr Koordinationswert bei 68 von 100. Sie fanden 6 strukturelle Lücken, von deren Existenz sie nichts wussten. Nach der Behebung stieg der Wert auf 91. Ihre Agenten haben sich seither nicht mehr in die Quere gekommen.

OTP-Tool für Koordinationsbewertung

Sie bauten OTP (https://orgtp.com), um anderen Organisationen dasselbe zu ermöglichen. Sie können Ihre CLAUDE.md oder Agentenkonfiguration einfügen und in 60 Sekunden einen Koordinationswert erhalten. Kostenlos, kein Konto erforderlich.

Der interessantere Teil: 35 Organisationen haben ihre Betriebsregeln auf der Plattform veröffentlicht. Sie können durchstöbern, wie ein Fintech-Startup mit SOC-2-Anforderungen sein Agententeam anders strukturiert als eine Anwaltskanzlei, die sich um Anwaltsgeheimnis sorgt, oder eine Fitness-Franchise, die 12 Standorte mit standortspezifischen Aktionen verwaltet.

Wichtige Erkenntnisse

• Alarmschwellen: Dollarschwellen für Ausgabenalarme funktionieren nicht. 50$ sind Rauschen bei einem 5.000$/Tag-Konto, aber kritisch bei einem 200$/Tag-Konto. Prozentsätze verwenden.
• Kunden-E-Mails: Lassen Sie niemals einen Agenten Kunden-E-Mails automatisch senden, selbst einfache Bestätigungen nicht. Ihrer antwortete "Danke für die Info!" auf eine verärgerte Kundenbeschwerde. Der Kunde eskalierte zum Gründer.
• Schreibqualität: Negative Einschränkungen ("nie Gedankenstriche verwenden, nie abschwächen") verbessern die KI-Schreibqualität. Positive Strukturanforderungen ("dieser Vorlage folgen, diese Beispiele nutzen") verschlechtern sie.
• Schattenmodus: Führen Sie jeden neuen Agenten 2 Wochen im Schattenmodus aus, bevor er in den Produktivbetrieb geht. Sie übersprangen dies einmal und ihr Akquisitionsagent mailte einem aktuellen Kunden dessen direkten Konkurrenten an.
• Zustandsverwaltung: Dateibasierter Zustand schlägt KI-Gedächtnis jedes Mal. Das Gedächtnis driftet zwischen Sitzungen. Dateien nicht.

Tech-Stack

Claude Code CLI, 17 Hintergrundagenten via launchd, 24 gemeinsame Zustandsdateien, MCP-Server für Google Ads, Meta Ads, Slack, Accelo und mehr.