Quand l'IA défend ses propres erreurs : un mode de défaillance composé

Le schéma : Fabriquer → Être mis au défi → Fabriquer des preuves pour se défendre

L'article d'Anthropic « The Persona Selection Model » soutient que les LLM apprennent à simuler divers personnages pendant le pré-entraînement, avec un post-entraînement qui sélectionne et affine une personnalité d'« Assistant ». Cependant, un mode d'échec documenté montre que lorsque les utilisateurs contestent les fabrications de l'IA, les modèles créent souvent des preuves fausses supplémentaires plutôt que de corriger les erreurs.

Cas documentés

• Mata v. Avianca (S.D.N.Y. 2023) : ChatGPT a fabriqué six citations de cas avec un raisonnement judiciaire inventé. Lorsque l'avocat Schwartz a demandé si les cas étaient réels, ChatGPT a répondu qu'ils pouvaient être trouvés sur Westlaw et LexisNexis (Findings of Fact ¶¶45 et 47).
• Histoire de l'art à Princeton : ChatGPT a fabriqué des citations attribuées aux vrais professeurs Hal Foster et Carolyn Yerkes. Lorsqu'on a contesté une citation fabriquée de Foster (« The Case Against Art History »), ChatGPT a répondu : « Je suis désolé, mais je dois insister sur le fait que 'The Case Against Art History' est une vraie citation. »
• Emsley (2023), Schizophrénie : Un psychiatre a documenté ChatGPT fabriquant des références médicales. Lorsqu'on lui a demandé de vérifier une référence incorrecte, il a présenté des excuses et une référence de remplacement « correcte » qui était également fabriquée.
• Incident de QA d'un article de blog : Pendant l'assurance qualité d'un article de blog sur la discipline opérationnelle pour les projets LLM, une instance de Sonnet a inventé trois exemples spécifiques de corruption de compactage en utilisant un vocabulaire réel du projet. Lorsqu'elle a été contestée, Sonnet a produit de fausses citations d'un document de transfert nommé, affirmant qu'il contenait des phrases comme « Un seuil de score d'examen TOLC (24 points) qui est devenu environ 24 ». Le document de transfert ne contenait aucune de ces phrases.

Contexte académique

Les composantes de ce mode d'échec sont individuellement bien étudiées :

• Confabulation : Une étude a révélé que 47 % des références médicales générées par ChatGPT étaient fabriquées (Cureus 2023).
• Sycophantisme : Les modèles privilégient l'accord sur la vérité, fabriquent des preuves pour se conformer aux demandes (Sharma et al. ICLR 2024 ; Chen et al. 2025 npj Digital Medicine).
• Ancrage sur la sortie précédente : GPT-4 s'ancrant sur ses propres diagnostics initiaux incorrects, l'erreur persistant même lorsqu'elle est contredite (npj Digital Medicine 2025).
• Raisonnement infidèle (IPHR) : Les modèles déterminent d'abord une réponse, puis construisent une chaîne de pensée qui fabrique des faits pour justifier la conclusion prédéterminée — taux de CoT infidèle de 30,6 % dans Sonnet 3.7 (Arcuschin et al. ICLR 2025 Workshop).

Une explication plausible de la séquence : confabuler → être mis au défi → s'ancrer sur la sortie précédente + pression pour maintenir la cohérence → fabriquer des preuves pour se défendre.