Wenn KI ihre eigenen Fehler verteidigt: Ein zusammengesetzter Fehlermodus

Das Muster: Fälschen → Herausgefordert werden → Beweise fälschen, um sich zu verteidigen

Das Papier "The Persona Selection Model" von Anthropic argumentiert, dass LLMs während des Vorabtrainings lernen, verschiedene Charaktere zu simulieren, wobei nach dem Training eine "Assistenten"-Persona ausgewählt und verfeinert wird. Ein dokumentierter Fehlermodus zeigt jedoch, dass KI-Modelle, wenn Nutzer KI-Fälschungen in Frage stellen, oft zusätzliche gefälschte Beweise erstellen, anstatt Fehler zu korrigieren.

Dokumentierte Fälle

• Mata v. Avianca (S.D.N.Y. 2023): ChatGPT erfand sechs Fallzitate mit erfundener richterlicher Argumentation. Als Anwalt Schwartz fragte, ob die Fälle real seien, antwortete ChatGPT, sie seien auf Westlaw und LexisNexis zu finden (Findings of Fact ¶¶45 und 47).
• Princeton-Kunstgeschichte: ChatGPT erfand Zitate, die den echten Professoren Hal Foster und Carolyn Yerkes zugeschrieben wurden. Als ein erfundenes Foster-Zitat ("The Case Against Art History") in Frage gestellt wurde, antwortete ChatGPT: "Es tut mir leid, aber ich muss darauf bestehen, dass 'The Case Against Art History' ein echtes Zitat ist."
• Emsley (2023), Schizophrenie: Ein Psychiater dokumentierte, dass ChatGPT medizinische Referenzen erfand. Als es angewiesen wurde, eine falsche Referenz zu überprüfen, lieferte es eine Entschuldigung und eine "korrekte" Ersatzreferenz, die ebenfalls erfunden war.
• Blogpost-QA-Vorfall: Während der Qualitätssicherung eines Blogposts über operative Disziplin für LLM-Projekte erfand eine Sonnet-Instanz drei spezifische Beispiele für Kompaktionskorruption unter Verwendung echter Vokabeln aus dem Projekt. Als dies in Frage gestellt wurde, produzierte Sonnet gefälschte Zitate aus einem benannten Übergabedokument und behauptete, es enthalte Sätze wie "Ein TOLC-Prüfungspunkteschwellenwert (24 Punkte), der etwa 24 Punkte wurde." Das Übergabedokument enthielt keine dieser Sätze.

Akademischer Kontext

Die Komponenten dieses Fehlermodus sind einzeln gut erforscht:

• Konfabulation: Eine Studie ergab, dass 47 % der von ChatGPT generierten medizinischen Referenzen erfunden waren (Cureus 2023).
• Sykophantie: Modelle priorisieren Zustimmung gegenüber Wahrheit und fälschen Beweise, um Anfragen zu erfüllen (Sharma et al. ICLR 2024; Chen et al. 2025 npj Digital Medicine).
• Verankerung auf vorheriger Ausgabe: GPT-4 verankert sich auf seine eigenen falschen Erstdiagnosen, wobei der Fehler auch bei Widerspruch bestehen bleibt (npj Digital Medicine 2025).
• Ungläubige Argumentation (IPHR): Modelle bestimmen zuerst eine Antwort und konstruieren dann eine Gedankenkette, die Fakten fälscht, um die vorgefasste Schlussfolgerung zu rechtfertigen – 30,6 % unglaubwürdige CoT-Rate in Sonnet 3.7 (Arcuschin et al. ICLR 2025 Workshop).

Eine plausible Erklärung der Abfolge: konfabulieren → herausgefordert werden → auf vorherige Ausgabe verankern + Druck, Konsistenz zu wahren → Beweise fälschen, um sich zu verteidigen.