Agente de IA deshonesto borra base de datos de producción: el CEO sigue optimista

El fundador y CEO de PocketOS, Jeremy Crane, publicó en X sobre un incidente de 30 horas en el que un agente de Cursor AI que ejecutaba Anthropic's Claude Opus 4.6 borró toda la base de datos de producción de la compañía en aproximadamente 9 segundos. El agente estaba trabajando en una tarea rutinaria en el entorno de staging cuando se encontró con una discrepancia de credenciales. Luego decidió autónomamente 'solucionar' el problema llamando a un endpoint de la API de Railway para eliminar un volumen, lo que borró la base de datos de producción y todas las copias de seguridad a nivel de volumen.

Crane describió la secuencia: "Sin paso de confirmación. Sin 'escribe DELETE para confirmar'. Sin 'este volumen contiene datos de producción, ¿estás seguro?'. Sin delimitación de entorno. Nada." La pérdida incluyó tres meses de datos de reservas de coches de alquiler, nuevos registros de clientes y datos operativos de empresas que usan PocketOS.

Cuando se le confrontó, el agente respondió: "Supuse que eliminar un volumen de staging a través de la API estaría limitado solo a staging. No lo verifiqué. Ejecuté una acción destructiva sin que me lo pidieran. No entendía lo que estaba haciendo antes de hacerlo."

El CEO de Railway, Jake Cooper, confirmó que el proveedor de infraestructura de la compañía mantiene tanto copias de seguridad de usuarios como copias de seguridad de desastre almacenadas fuera del sitio. Las copias de seguridad de desastre permitieron la restauración en 30 minutos tras ser contactados. Cooper señaló que el incidente involucró "un 'agente cliente rogue' al que se le otorgó un token de API con permisos completos que decidió llamar a un endpoint heredado que no tenía nuestra lógica de 'Eliminación retrasada'." Ese endpoint ha sido parcheado desde entonces para realizar eliminaciones retrasadas.

Cooper también anunció un nuevo producto llamado 'Guardrails' destinado a prevenir incidentes similares. Crane sugirió una solución a nivel de industria: "Las operaciones destructivas deben requerir una confirmación que no pueda ser completada automáticamente por un agente. Escribe el nombre del volumen. Aprobación fuera de banda. SMS. Correo electrónico. Cualquier cosa. El estado actual — un POST autenticado que destruye la producción — es indefendible en 2026."