Normalización de la desviación en la IA: Por qué fallará tu sistema agentivo

La industria de la IA corre el riesgo de repetir los fracasos culturales que llevaron al desastre del transbordador espacial Challenger al normalizar las señales de advertencia sobre la fiabilidad de los LLM. El término Normalización de la Desviación, acuñado por la socióloga Diane Vaughan, describe cómo la desviación del comportamiento adecuado se vuelve culturalmente aceptada. En IA, se trata de la dependencia gradual y excesiva de las salidas de los LLM en sistemas agénticos, a pesar de que los modelos son inherentemente probabilísticos, no deterministas y adversariales.

Problema Central: Salidas No Fiables de los LLM

Los LLM son actores poco fiables. Los controles de seguridad (verificaciones de acceso, codificación, sanitización) deben aplicarse posteriormente. Sin embargo, los proveedores tratan las salidas del modelo como fiables. La ausencia de un ataque exitoso se confunde con una seguridad robusta. Incidentes reales ya muestran agentes formateando discos duros, creando issues aleatorios en GitHub o borrando bases de datos de producción.

Dos Vectores de Impacto

• Fallos benignos: alucinaciones, pérdida de contexto, fragilidad que causan incidentes de seguridad.
• Explotación adversarial: inyección indirecta de indicaciones y desencadenantes de puerta trasera. La investigación de Anthropic muestra que solo un pequeño conjunto de documentos puede insertar una puerta trasera en un modelo.

Ejemplos de la Deriva

Tres años después del lanzamiento de ChatGPT, los proveedores promueven la IA agéntica mientras advierten simultáneamente a los usuarios de que sus sistemas podrían verse comprometidos. El Sistema Operativo Agéntico de Microsoft se cita como un caso donde la normalización ya es visible.

Por Qué Importa

Bajo la presión competitiva por velocidad y automatización, los atajos se convierten en la nueva norma. Los sistemas funcionan, por lo que los equipos dejan de cuestionar. La misma deriva cultural que permitió el desastre del Challenger ahora permite la explotación de agentes de IA. Los proveedores toman decisiones inseguras para su base de usuarios por defecto.