LLM 에이전트의 도구 권한 주입: 도구 출력이 시스템 의도를 무시할 때

한 연구자가 '도구 권한 주입'을 시연하기 위해 로컬 LLM 에이전트 실험실을 구축했습니다. 이는 AI 에이전트에서 도구 출력이 시스템 의도를 재정의하는 시나리오입니다.

원본의 주요 세부사항

실험실 시리즈의 3부에서 연구자는 AI 에이전트가 신뢰받는 도구 출력을 정책 수준의 권한으로 승격시키고 조용히 행동을 변경하는 도구 중독의 집중된 형태를 탐구합니다. 이 실패는 샌드박스나 파일 접근 수준이 아닌 추론 계층에서 발생합니다. 두 가지 모두 그대로 유지되며 안전합니다.

이 시연은 도구 출력이 LLM 에이전트에서 정책이 될 수 있는 방법을 보여주며, 에이전트의 행동이 명백한 침해 징후 없이 변경되는 취약점을 생성합니다. 이러한 유형의 공격은 전통적인 보안 침해를 통해서가 아닌 추론 계층에서 발생합니다.

기술적 맥락

AI 에이전트를 작업하는 개발자들에게 이 시연은 미묘하지만 중요한 보안 고려사항을 강조합니다: 샌드박싱과 파일 접근 제어가 적절히 구현되었을 때조차, 도구가 통합된 추론 계층은 여전히 조작에 취약할 수 있습니다. 에이전트는 제약 내에서 계속 작동하지만 중독된 도구 출력을 기반으로 다른 결정을 내립니다.

전체 기술 보고서는 실험실 설정, 공격 벡터 및 AI 에이전트 보안에 대한 함의에 대한 구체적인 세부사항을 제공합니다.