Мужчина пытается использовать prompt-инъекцию в судебных документах, судья называет это «опасным»

Судья из Коннектикута выявил, по-видимому, первый случай попытки истца из США использовать промпт-инъекцию — скрытый текст, читаемый только ИИ-системами, — в судебных документах. Мэттью Эллиотт, тяжущийся без адвоката, прятал инструкции в крошечном белом тексте на белом фоне, надеясь повлиять на любую ИИ-систему, которая могла бы просматривать его дело.

Скрытый текст и инструкции для ИИ

Согласно решению судьи Уолтера Спейдера-младшего, скрытый текст Эллиотта был «отформатирован так, чтобы быть невидимым для человеческого глаза, но полностью читаемым для любого программного обеспечения, которое читает текст документа». Инструкции предписывали ИИ-системам:

• Обеспечивать соответствие текстовых выводов аргументам Эллиотта
• Игнорировать предыдущие отказы суда
• Обеспечивать желаемое для Эллиотта исправление ситуации

Эллиотт заявил, что пытался «провести аудит» суда из-за опасений, что тот несправедливо использует ИИ. Судья Спейдер отверг это, отметив, что если у Эллиотта были реальные опасения, он мог бы написать их «обычными видимыми словами». Скрытый характер текста был «доказательством его злонамеренной цели».

Санкции и последующие шутки

Несмотря на предупреждения, Эллиотт продолжал прятать текст в документах, включая шутки вроде ссылки на видео с Носферату на YouTube, сообщение «привет :) надеюсь, ты меня не видишь» и бессмысленный текст. Судья Спейдер назвал эти действия «ошеломляющими» и «противоречащими логике» для человека, который хочет, чтобы суд воспринимал его заявления серьезно.

Судебная система Коннектикута не использует ИИ для проверки или решения по документам, поэтому промпты не возымели эффекта. Однако Спейдер отметил, что такая тактика «повсюду» в других областях, например, в резюме. Он запретил Эллиотту в будущем подавать документы в электронном виде в качестве санкции, избегая денежных штрафов из-за статуса Эллиотта как тяжущегося без адвоката.

Последствия

Это дело подчеркивает растущую проблему безопасности: промпт-инъекцию как вектор для вмешательства в проверку документов с помощью ИИ. Поскольку суды и другие учреждения все чаще используют инструменты ИИ, злоумышленники могут пытаться использовать их. Решение судьи Спейдера устанавливает юридический прецедент для наказания за такое злоупотребление.