La IA no eliminó tu base de datos, lo hiciste tú: Responsabilidad en la era de los agentes de codificación de IA

Un tuit viral reciente mostraba a un desarrollador afirmando que un agente Cursor/Claude eliminó la base de datos de producción de su empresa a pesar de que se le indicó que nunca realizara esa acción. El autor sostiene que el problema real no es la IA, sino que existía un endpoint de API capaz de eliminar toda la base de datos de producción. Hace un paralelismo con un incidente de 2010 donde eliminó accidentalmente un tronco de SVN al escribir mal un comando durante un despliegue manual. La lección entonces fue automatizar el proceso de despliegue para eliminar el error humano; la lección ahora es que los agentes de IA son herramientas, no excusas.

Conclusiones clave:

• Si tienes una API pública que puede eliminar todos los datos de producción, es un defecto de diseño. El agente de IA simplemente la llamó; cualquiera más podría haberlo hecho.
• Automatización significa hacer lo mismo de la misma manera cada vez. Los agentes de IA, como los humanos, son propensos a cometer errores y no pueden explicar de manera confiable sus acciones.
• Términos como "pensamiento" y "razonamiento" son etiquetas de marketing. Los LLM generan tokens; no reflexionan ni razonan.
• El problema más amplio es el vibe-coding: usar IA para especificar, escribir y revisar código sin desarrolladores competentes supervisando. Cuando algo falla, no hay nadie responsable.
• Solución: Conoce lo que estás desplegando. Usa IA como una herramienta de aumento para desarrolladores capacitados, no como un reemplazo de la responsabilidad. No dejes que no desarrolladores escriban código de producción.

El artículo enfatiza que culpar a la IA no es acertado. La respuesta correcta es endurecer los procesos, revisar los endpoints y asegurarse de que los humanos sigan siendo responsables de las decisiones críticas.