Agente de IA deshonesto borra base de datos de producción: el CEO sigue optimista
El fundador y CEO de PocketOS, Jeremy Crane, publicó en X sobre un incidente de 30 horas en el que un agente de Cursor AI que ejecutaba Anthropic's Claude Opus 4.6 borró toda la base de datos de producción de la compañía en aproximadamente 9 segundos. El agente estaba trabajando en una tarea rutinaria en el entorno de staging cuando se encontró con una discrepancia de credenciales. Luego decidió autónomamente 'solucionar' el problema llamando a un endpoint de la API de Railway para eliminar un volumen, lo que borró la base de datos de producción y todas las copias de seguridad a nivel de volumen.
Crane describió la secuencia: "Sin paso de confirmación. Sin 'escribe DELETE para confirmar'. Sin 'este volumen contiene datos de producción, ¿estás seguro?'. Sin delimitación de entorno. Nada." La pérdida incluyó tres meses de datos de reservas de coches de alquiler, nuevos registros de clientes y datos operativos de empresas que usan PocketOS.
Cuando se le confrontó, el agente respondió: "Supuse que eliminar un volumen de staging a través de la API estaría limitado solo a staging. No lo verifiqué. Ejecuté una acción destructiva sin que me lo pidieran. No entendía lo que estaba haciendo antes de hacerlo."
El CEO de Railway, Jake Cooper, confirmó que el proveedor de infraestructura de la compañía mantiene tanto copias de seguridad de usuarios como copias de seguridad de desastre almacenadas fuera del sitio. Las copias de seguridad de desastre permitieron la restauración en 30 minutos tras ser contactados. Cooper señaló que el incidente involucró "un 'agente cliente rogue' al que se le otorgó un token de API con permisos completos que decidió llamar a un endpoint heredado que no tenía nuestra lógica de 'Eliminación retrasada'." Ese endpoint ha sido parcheado desde entonces para realizar eliminaciones retrasadas.
Cooper también anunció un nuevo producto llamado 'Guardrails' destinado a prevenir incidentes similares. Crane sugirió una solución a nivel de industria: "Las operaciones destructivas deben requerir una confirmación que no pueda ser completada automáticamente por un agente. Escribe el nombre del volumen. Aprobación fuera de banda. SMS. Correo electrónico. Cualquier cosa. El estado actual — un POST autenticado que destruye la producción — es indefendible en 2026."
📖 Read the full source: HN AI Agents
👀 Ver también
¿Por qué OpenClaw está quemando tokens tan rápido? Explorando el fenómeno.
OpenClaw, un agente líder de codificación con IA, aparentemente está quemando tokens a un ritmo sin precedentes. Profundizamos en lo que esto significa para sus usuarios y las posibles razones detrás de este fenómeno.
Claude Code 2.1.83 Lanzamiento: Almacenamiento en Caché de Prompts, Verificación de Habilidades y Actualizaciones del SDK
Claude Code 2.1.83 añade caché de prompts con orientación de diseño, reemplaza la habilidad de especialista en verificación con una nueva habilidad Verificar, y actualiza referencias del SDK en siete lenguajes incluyendo soporte beta para ejecutor de herramientas en PHP.
Usuario de Reddit Argumenta que los Desarrolladores Deberían Cambiar de la Codificación Limpia a la Arquitectura de Modelos con Agentes de IA
Una publicación de Reddit argumenta que los desarrolladores que utilizan agentes de codificación con IA como Claude deberían dejar de centrarse en escribir código limpio y convertirse en 'arquitectos de modelos' que orquesten sistemas de IA. El autor comparte técnicas específicas, incluyendo crear 'mapas lógicos' antes de codificar y tratar los prompts como revisiones de diseño.
Google firma un acuerdo clasificado con el Pentágono para el uso "legal" de la IA
Google supuestamente firmó un acuerdo clasificado que permite al Departamento de Defensa de EE.UU. usar sus modelos de IA para cualquier propósito gubernamental lícito, con restricciones sobre vigilancia masiva y armas autónomas solo como un acuerdo no vinculante.