Normalisation de la déviance dans l'IA : pourquoi votre système agentique échouera

L'industrie de l'IA risque de répéter les défaillances culturelles à l'origine de la catastrophe de la navette spatiale Challenger en normalisant les signes d'alerte autour de la fiabilité des LLM. Le terme de la sociologue Diane Vaughan, Normalisation de la déviance, décrit comment l'écart par rapport à un comportement approprié devient culturellement accepté. Dans l'IA, il s'agit de la dépendance excessive aux sorties des LLM dans les systèmes d'agents, malgré le fait que les modèles soient intrinsèquement probabilistes, non déterministes et adversariaux.

Problème central : sorties LLM non fiables

Les LLM sont des acteurs peu fiables. Des contrôles de sécurité (vérifications d'accès, encodage, assainissement) doivent être appliqués en aval. Pourtant, les fournisseurs traitent les sorties des modèles comme fiables. L'absence d'attaque réussie est considérée comme une sécurité robuste. Des incidents réels montrent déjà des agents formatant des disques durs, créant des tickets GitHub aléatoires, ou effaçant des bases de données de production.

Deux vecteurs d'impact

• Défaillances bénignes : hallucinations, perte de contexte, fragilité provoquant des incidents de sécurité.
• Exploitation adverse : injection de prompts indirecte et déclencheurs de porte dérobée. Des recherches d'Anthropic montrent qu'un petit ensemble de documents peut insérer une porte dérobée dans un modèle.

Exemples de la dérive

Trois ans après le lancement de ChatGPT, les fournisseurs poussent l'IA agentique tout en avertissant simultanément les utilisateurs que leurs systèmes pourraient être compromis. Le système d'exploitation agentique de Microsoft est cité comme un cas où la normalisation est déjà visible.

Pourquoi c'est important

Sous pression concurrentielle pour la rapidité et l'automatisation, les raccourcis deviennent la nouvelle norme. Les systèmes fonctionnent, donc les équipes cessent de se poser des questions. La même dérive culturelle qui a permis la catastrophe de Challenger permet aujourd'hui l'exploitation des agents IA. Par défaut, les fournisseurs prennent des décisions non sécurisées pour leur base d'utilisateurs.