Normalisierung von Abweichungen in der KI: Warum Ihr agentisches System scheitern wird

Die KI-Branche riskiert, die kulturellen Fehler hinter der Space-Shuttle-Challenger-Katastrophe zu wiederholen, indem sie Warnsignale zur Zuverlässigkeit von LLMs normalisiert. Die Soziologin Diane Vaughan prägte den Begriff Normalisierung von Abweichungen (Normalization of Deviance), der beschreibt, wie Abweichungen vom richtigen Verhalten kulturell akzeptiert werden. In der KI ist es die allmähliche Überabhängigkeit von LLM-Ausgaben in agentischen Systemen, obwohl Modelle inhärent probabilistisch, nicht-deterministisch und adversarial sind.

Kernproblem: Unzuverlässige LLM-Ausgaben

LLMs sind unzuverlässige Akteure. Sicherheitskontrollen (Zugriffsprüfungen, Kodierung, Bereinigung) müssen nachgelagert angewendet werden. Dennoch behandeln Anbieter Modellausgaben als zuverlässig. Das Ausbleiben eines erfolgreichen Angriffs wird fälschlicherweise für robuste Sicherheit gehalten. Reale Vorfälle zeigen bereits, wie Agenten Festplatten formatieren, zufällige GitHub-Issues erstellen oder Produktionsdatenbanken löschen.

Zwei Auswirkungsvektoren

• Gutartige Fehler: Halluzinationen, Kontextverlust, Sprödigkeit, die zu Sicherheitsvorfällen führen.
• Adversariale Ausnutzung: Indirekte Prompt-Injection und Backdoor-Trigger. Anthropic-Forschung zeigt, dass nur wenige Dokumente ausreichen, um eine Backdoor in ein Modell einzuschleusen.

Beispiele für die Abweichung

Drei Jahre nach dem Start von ChatGPT drängen Anbieter auf agentische KI und warnen gleichzeitig, dass ihre Systeme kompromittiert werden könnten. Microsofts Agentic Operating System wird als Fall genannt, bei dem die Normalisierung bereits sichtbar ist.

Warum es wichtig ist

Unter Konkurrenzdruck auf Geschwindigkeit und Automatisierung werden Abkürzungen zur neuen Basislinie. Systeme funktionieren, also hinterfragen Teams nicht mehr. Der gleiche kulturelle Drift, der die Challenger-Katastrophe ermöglichte, ermöglicht nun die Ausnutzung von KI-Agenten. Anbieter treffen standardmäßig unsichere Entscheidungen für ihre Nutzerbasis.