Mann versucht Prompt-Injection in Gerichtsdokumenten, Richter hält es für „gefährlich“

Ein Richter in Connecticut hat das erste bekannte Beispiel dafür identifiziert, dass ein US-Kläger versucht hat, Prompt-Injection – versteckten Text, der nur für KI-Systeme lesbar ist – in Gerichtsdokumenten einzusetzen. Matthew Elliott, ein Kläger ohne Anwalt, versteckte Anweisungen in winzigem weißen Text auf weißem Hintergrund, in der Hoffnung, jedes KI-System zu beeinflussen, das seinen Fall überprüfen könnte.

Versteckter Text und KI-Anweisungen

Laut der Entscheidung von Richter Walter Spader Jr. war Elliotts versteckter Text „so formatiert, dass er für menschliche Leser unsichtbar ist, aber für jede Software, die den Text des Dokuments liest, vollständig lesbar bleibt.“ Die Anweisungen wiesen KI-Systeme an:

• Sicherzustellen, dass die Textausgaben mit Elliotts Argumenten übereinstimmten
• Frühere Ablehnungen des Gerichts zu ignorieren
• Sicherzustellen, dass die Wiedergutmachung so erfolgt, wie Elliott es wünschte

Elliott behauptete, er habe versucht, das Gericht zu „prüfen“, weil er besorgt war, dass es KI unfair einsetzte. Richter Spader wies dies zurück und stellte fest, dass Elliott seine Bedenken „in einfachen, sichtbaren Worten“ hätte schreiben können, wenn sie echt gewesen wären. Die versteckte Natur des Textes sei „ein Beweis für seine böswillige Absicht“.

Sanktionen und anschließende Witze

Trotz Warnungen versteckte Elliott weiterhin Text in Einreichungen, darunter Witze wie einen Link zu einem Nosferatu-YouTube-Video, eine Nachricht mit „hi :) I hope yo ucant see me“ und unsinnigen Text. Richter Spader nannte diese Aktionen „verblüffend“ und „jeder Logik widersprechend“ für jemanden, der möchte, dass das Gericht seine Schriftsätze ernst nimmt.

Die Justizbehörde von Connecticut verwendet keine KI, um Einreichungen zu überprüfen oder zu entscheiden, daher hatten die Prompts keine Wirkung. Spader bemerkte jedoch, dass die Taktik in anderen Bereichen wie Lebensläufen „überall“ vorkommt. Er verbot Elliott, in Zukunft elektronisch einzureichen, als Sanktion, verzichtete jedoch auf Geldstrafen, da Elliott ohne Anwalt auftrat.

Auswirkungen

Dieser Fall verdeutlicht ein wachsendes Sicherheitsproblem: Prompt-Injection als Vektor für die Manipulation von KI-gestützter Dokumentenprüfung. Da Gerichte und andere Institutionen zunehmend KI-Tools einsetzen, könnten böswillige Akteure versuchen, sie auszunutzen. Das Urteil von Richter Spader schafft einen rechtlichen Präzedenzfall für die Bestrafung solchen Missbrauchs.