남성, 법원 서류에 프롬프트 인젝션 시도…판사 "위험하다" 판단

코네티컷 판사가 미국 원고가 법원 서류에서 프롬프트 인젝션(AI 시스템만 읽을 수 있는 숨겨진 텍스트)을 사용하려 한 것으로 보이는 첫 사례를 확인했습니다. pro se 소송인인 매튜 엘리엇은 흰 배경에 흰색 작은 텍스트로 지침을 숨겨 자신의 사건을 검토할 AI 시스템에 영향을 미치려 했습니다.

숨겨진 텍스트와 AI 지침

월터 스페이더 주니어 판사의 결정에 따르면, 엘리엇의 숨겨진 텍스트는 "사람이 읽을 수 없지만 문서의 텍스트를 읽는 소프트웨어에는 완전히 읽을 수 있도록 포맷되었습니다." 지침은 AI 시스템에 다음을 요구했습니다:

• 텍스트 출력이 엘리엇의 주장과 일치하도록 보장
• 법원의 이전 거부를 무시
• 엘리엇이 원하는 대로 교정이 이루어지도록 보장

엘리엇은 법원이 AI를 불공정하게 사용한다는 우려로 "감사"를 시도했다고 주장했습니다. 스페이더 판사는 이에 대해 "평범하고 보이는 단어로" 쓸 수 있었다며 일축했고, 텍스트의 은밀한 성격은 "악의적인 목적의 증거"라고 밝혔습니다.

제재 및 이후 농담

경고에도 불구하고 엘리엇은 계속해서 서류에 숨겨진 텍스트를 넣었으며, 여기에는 노스페라투 유튜브 동영상 링크, "안녕 :) 나는 너가 나를 볼 수 없었으면 좋겠어"라는 메시지, 그리고 무의미한 텍스트가 포함되었습니다. 스페이더 판사는 이러한 행동을 "충격적"이며, 법원이 자신의 탄원서를 진지하게 받아들이기를 원하는 사람에게 "이해가 되지 않는다"고 말했습니다.

코네티컷 사법부는 서류를 검토하거나 결정하기 위해 AI를 사용하지 않으므로 프롬프트는 효과가 없었습니다. 그러나 스페이더 판사는 이 전술이 이력서와 같은 다른 영역에서 "도처에 있다"고 언급했습니다. 그는 엘리엇의 pro se 지위를 고려하여 금전적 제재를 피하고, 향후 전자 제출을 금지하는 제재를 부과했습니다.

시사점

이 사건은 AI 지원 문서 검토를 방해하는 벡터로서의 프롬프트 인젝션에 대한 증가하는 보안 우려를 부각시킵니다. 법원과 다른 기관들이 AI 도구를 점점 더 채택함에 따라 악의적인 행위자들이 이를 악용하려 할 수 있습니다. 스페이더 판사의 판결은 이러한 남용을 처벌하는 법적 선례를 세웠습니다.