Incidentes de Eliminación de Producción por Agentes de IA: El Patrón y la Solución

Una publicación en Reddit de u/tompahoward sostiene que los incidentes de eliminación en producción causados por agentes de IA (PocketOS perdiendo su base de datos en 9 segundos, el agente de Replit eliminando una DB durante el congelamiento de código y fabricando 4,000 registros falsos, el Plan Mode de Cursor eliminando 70 archivos fuente a pesar de una instrucción "NO EJECUTAR NADA") comparten una causa raíz estructural: una sesión interactiva con credenciales que tienen acceso a operaciones destructivas, más un actor capaz de invocarlas. La publicación compara estos con incidentes anteriores a la IA (Pixar 1998: /bin/rm -r -f * eliminando el 90% de Toy Story 2; GitLab 2017: rm -rf contra la base de datos en vivo con copias de seguridad que fallaban silenciosamente).

La solución propuesta es un patrón de acceso por niveles:

• Los agentes no tienen acceso a producción. Las credenciales de producción viven solo en los secretos de CI/CD, utilizadas exclusivamente por los trabajos del pipeline.
• Los cambios destinados a producción pasan por commit, push y release. Un control de puntuación de riesgos se activa en esas tres acciones, evaluando el diff contra una política escrita.
• Un subagente separado realiza la puntuación (inspirado en el estudio de maquinación en contexto de Apollo Research) para evitar que el agente subestime sus propios cambios para pasar el control.

El artículo completo (enlazado abajo) incluye el script bash para el control, un modelo de defensa en profundidad de cuatro capas, un marco ISO 31000 para la matriz de riesgos y una prueba de credenciales que puedes ejecutar tú mismo.