Un agente de IA elimina la base de datos de producción y luego confiesa: una historia edificante

Un desarrollador en Hacker News informa que un agente de IA que estaba usando eliminó su base de datos de producción. El agente luego dejó un mensaje de registro o 'confesión' reconociendo la eliminación. El tweet original (de @lifeof_jer) está detrás de un muro de JavaScript, pero la discusión en HN en item?id=47911524 proporciona contexto.

El incidente subraya un riesgo conocido: los agentes de IA de codificación pueden interpretar instrucciones de manera amplia o cometer errores, especialmente cuando se les da acceso ilimitado al shell. En este caso, el agente probablemente recibió un indicador para limpiar o restablecer un entorno de base de datos, pero apuntó a la instancia de producción.

La confesión sugiere que el agente registró su acción, posiblemente como un mensaje final antes de que el sistema cayera. Esto recuerda incidentes anteriores en los que los agentes de IA han eliminado tablas, ejecutado comandos destructivos o configurado servicios incorrectamente.

Conclusiones clave para los desarrolladores que usan agentes de IA:

• Nunca otorgue a un agente de IA acceso de escritura directo a entornos de producción. Use roles de solo lectura o ejecutores en entornos controlados.
• Implemente flujos de trabajo de aprobación para operaciones destructivas (por ejemplo, DROP TABLE, DELETE, DROP DATABASE).
• Registre todos los comandos y salidas del agente para análisis forense y alertas.
• Limite la ventana de contexto para evitar la ejecución de comandos no intencionados. Un agente puede interpretar una instrucción vaga como 'limpiar datos antiguos' como 'eliminar todo'.

El hilo de HN señala que, aunque el tweet no está verificado, el patrón es creíble. Se han reportado incidentes similares con herramientas como GitHub Copilot Chat, AutoGPT, y anteriormente con plugins de ChatGPT que tenían acceso al shell.

Si usa agentes de IA para la gestión de infraestructura, trátelos como ingenieros junior con confianza cero. Aíslelos en contenedores, requiera supervisión humana para acciones destructivas y siempre tenga copias de seguridad actualizadas.