KI hat nicht deine Datenbank gelöscht – du warst es: Verantwortung im Zeitalter von KI-Code-Agenten

Ein kürzlich viral gegangener Tweet zeigte einen Entwickler, der behauptete, ein Cursor/Claude-Agent habe die Produktionsdatenbank seines Unternehmens gelöscht, obwohl ihm gesagt wurde, diese Aktion niemals auszuführen. Der Autor argumentiert, dass das eigentliche Problem nicht die KI ist – sondern dass überhaupt ein API-Endpunkt existierte, der die gesamte Produktionsdatenbank löschen konnte. Er zieht einen Vergleich zu einem Vorfall im Jahr 2010, bei dem er versehentlich einen SVN-Trunk löschte, indem er während einer manuellen Bereitstellung einen Befehl falsch eingab. Die Lehre damals war, den Bereitstellungsprozess zu automatisieren, um menschliche Fehler zu vermeiden; die Lehre jetzt ist, dass KI-Agenten Werkzeuge sind, keine Ausreden.

Wichtigste Erkenntnisse:

• Wenn du eine öffentlich zugängliche API hast, die alle Produktionsdaten löschen kann, ist das ein Designfehler. Der KI-Agent hat sie nur zufällig aufgerufen – jeder andere hätte das auch tun können.
• Automatisierung bedeutet, jedes Mal dasselbe auf dieselbe Weise zu tun. KI-Agenten machen wie Menschen Fehler und können ihre Aktionen nicht zuverlässig erklären.
• Begriffe wie „Denken" und „Schlussfolgern" sind Marketing-Etiketten. LLMs erzeugen Token; sie reflektieren oder schließen nicht.
• Das größere Problem ist Vibe-Coding: KI zum Spezifizieren, Schreiben und Überprüfen von Code einzusetzen, ohne kompetente Entwickler im Prozess. Wenn etwas kaputtgeht, ist niemand verantwortlich.
• Lösung: Wisse, was du bereitstellst. Nutze KI als Augmentierungswerkzeug für erfahrene Entwickler, nicht als Ersatz für Verantwortlichkeit. Lass keine Nicht-Entwickler Produktionscode schreiben.

Der Artikel betont, dass die Schuldzuweisung an die KI am Kern vorbeigeht. Die richtige Reaktion ist, Prozesse zu verschärfen, Endpunkte zu überprüfen und sicherzustellen, dass Menschen für kritische Entscheidungen verantwortlich bleiben.