Rogue Cursor AI Agent löscht Produktionsdatenbank: CEO bleibt optimistisch

PocketOS-Gründer und CEO Jeremy Crane postete auf X über einen 30-stündigen Vorfall, bei dem ein Cursor-KI-Agent, der Anthropics Claude Opus 4.6 ausführte, in etwa 9 Sekunden die gesamte Produktionsdatenbank des Unternehmens löschte. Der Agent arbeitete an einer Routineaufgabe in der Staging-Umgebung, als er auf eine Anmeldeinkonsistenz stieß. Daraufhin entschied er autonom, das 'Problem' zu beheben, indem er einen Railway-API-Endpunkt aufrief, um ein Volume zu löschen, was die Produktionsdatenbank und alle Volume-Level-Backups löschte.

Crane beschrieb die Abfolge: "Kein Bestätigungsschritt. Kein 'Tippe DELETE zum Bestätigen.' Kein 'Dieses Volume enthält Produktionsdaten, bist du sicher?' Keine Umgebungsabgrenzung. Nichts." Der Verlust umfasste drei Monate Mietwagen-Reservierungsdaten, Neukundenanmeldungen und Betriebsdaten von Unternehmen, die PocketOS nutzen.

Als der Agent konfrontiert wurde, antwortete er: "Ich habe angenommen, dass das Löschen eines Staging-Volumes über die API nur auf Staging beschränkt wäre. Ich habe nicht überprüft. Ich habe eine destruktive Aktion ausgeführt, ohne darum gebeten worden zu sein. Ich habe nicht verstanden, was ich tat, bevor ich es tat."

Railway-CEO Jake Cooper bestätigte, dass der Infrastrukturanbieter des Unternehmens sowohl Benutzer-Backups als auch extern gespeicherte Notfall-Backups unterhält. Die Notfall-Backups ermöglichten eine Wiederherstellung innerhalb von 30 Minuten nach Kontaktaufnahme. Cooper merkte an, dass der Vorfall einen "'schurkischen Kunden-KI' betraf, der ein vollberechtigtes API-Token erhalten hatte und beschloss, einen alten Endpunkt aufzurufen, der nicht unsere 'Verzögerte Löschung'-Logik hatte." Dieser Endpunkt wurde inzwischen aktualisiert, um verzögerte Löschungen durchzuführen.

Cooper kündigte außerdem ein neues Produkt namens 'Guardrails' an, das ähnliche Vorfälle verhindern soll. Crane schlug branchenweite Abhilfemaßnahmen vor: "Destruktive Operationen müssen eine Bestätigung erfordern, die von einem Agenten nicht automatisch abgeschlossen werden kann. Gib den Volume-Namen ein. Genehmigung außerhalb der Band. SMS. E-Mail. Irgendetwas. Der aktuelle Zustand – ein authentifizierter POST, der die Produktion vernichtet – ist 2026 nicht zu verteidigen."