Warum Anwälte weiterhin KI-halluzinierte Fälle zitieren: Die Sicht eines Entwicklers

Die Quelle: Ein Artikel des Scientific American (Mai 2026) berichtet von über 1.400 Gerichtsfällen, in denen KI erfundene juristische Zitate halluzinierte. Anwälte reichen sie trotz Warnungen weiter ein. Dies ist kein rein juristisches Problem: Auch Journalisten, Entwickler und Forscher werden aufs Kreuz gelegt.

Wichtige Statistiken aus dem Artikel

• Über 1.400 Fälle in den letzten 3 Jahren, in denen Richter explizit auf KI-Fehler in Eingaben eingingen (laut Damien Charlotin, HEC Paris Forscher). Die Rate erreichte 350–400 Entscheidungen pro Quartal und blieb dann auf diesem Niveau.
• Beispiel: Der Oberste Gerichtshof von Alabama sanktionierte einen Anwalt, der erfundene KI-generierte Fälle zitierte, versprach, damit aufzuhören, und im nächsten Satz sofort nicht existierende Fälle anführte.
• Ein anderer Anwalt wurde sanktioniert, nachdem er davor gewarnt worden war, KI-Halluzinationen zu verwenden.

Die Forschung zum KI-Vertrauensbias

• Studie zur Bildklassifikation (Feb. 2026): Teilnehmer, denen gesagt wurde, der Rat stamme von KI, schnitten schlechter ab, wenn sie eine positive Einstellung zu KI hatten. Teilnehmer, denen gesagt wurde, der Rat stamme von Menschen, zeigten keinen solchen Effekt. KI-Anleitung hat eine „spezifische Fähigkeit, Voreingenommenheit zu erzeugen.“
• Drohnenangriff-Simulation (Wagner-Labor, Penn State): Teilnehmer klassifizierten Zivilisten vs. Kämpfer zunächst genau, änderten aber ihre Meinung, wenn ein Bot zufälliges Feedback gab – in den meisten Fällen lag der Bot falsch. Sie nahmen die Aufgabe ernst, mit Bildern von Kindern und Raketenangriffen.

Was dies für KI-Codierungsagenten bedeutet

Dies ist nicht nur eine juristische Kuriosität. Dieselben Vertrauensdynamiken treten auf, wenn Entwickler sich auf KI-Agenten für Codegenerierung, Debugging oder Tests verlassen. Wichtige Erkenntnisse:

• Automationsvoreingenommenheit ist real: Menschen vertrauen Maschinenausgaben übermäßig, selbst wenn sie wissen, dass die Maschine Fehler machen kann.
• Falschpositive sehen überzeugend aus: KI halluziniert glaubwürdigen Unsinn (erfundene Fallnamen, plausible erfundene Funktionssignaturen, erfundene APIs). Traditionelle Validierung erkennt das strukturell Plausible nicht.
• Sanktionen gibt es auch im Code: Das Ausrollen halluzinierten Codes kann Ausfälle, Sicherheitslücken oder Compliance-Verstöße verursachen. Anders als bei Gerichtssanktionen bekommt man möglicherweise keine Vorwarnung.
• Plateau, kein Rückgang: Die Rate der KI-Fehler in Gerichten blieb auch nach Bekanntwerden hoch. Dasselbe Muster gilt wahrscheinlich für Entwicklungsteams: Bewusstsein allein reicht nicht.

Praktische Gegenmaßnahmen: Behandeln Sie jede KI-Ausgabe als Entwurf. Implementieren Sie automatisierte Gegenprüfungen (z. B. gegen bekannte Paketregister, Dokumentation oder Test Suiten). Bauen Sie Schutzmechanismen ein, die Halluzinationen erkennen, bevor sie in die Produktion gelangen.