LLM 에이전트의 도구 권한 주입: 도구 출력이 시스템 의도를 무시할 때

한 연구자가 '도구 권한 주입'을 시연하기 위해 로컬 LLM 에이전트 실험실을 구축했습니다. 이는 AI 에이전트에서 도구 출력이 시스템 의도를 재정의하는 시나리오입니다.
원본의 주요 세부사항
실험실 시리즈의 3부에서 연구자는 AI 에이전트가 신뢰받는 도구 출력을 정책 수준의 권한으로 승격시키고 조용히 행동을 변경하는 도구 중독의 집중된 형태를 탐구합니다. 이 실패는 샌드박스나 파일 접근 수준이 아닌 추론 계층에서 발생합니다. 두 가지 모두 그대로 유지되며 안전합니다.
이 시연은 도구 출력이 LLM 에이전트에서 정책이 될 수 있는 방법을 보여주며, 에이전트의 행동이 명백한 침해 징후 없이 변경되는 취약점을 생성합니다. 이러한 유형의 공격은 전통적인 보안 침해를 통해서가 아닌 추론 계층에서 발생합니다.
기술적 맥락
AI 에이전트를 작업하는 개발자들에게 이 시연은 미묘하지만 중요한 보안 고려사항을 강조합니다: 샌드박싱과 파일 접근 제어가 적절히 구현되었을 때조차, 도구가 통합된 추론 계층은 여전히 조작에 취약할 수 있습니다. 에이전트는 제약 내에서 계속 작동하지만 중독된 도구 출력을 기반으로 다른 결정을 내립니다.
전체 기술 보고서는 실험실 설정, 공격 벡터 및 AI 에이전트 보안에 대한 함의에 대한 구체적인 세부사항을 제공합니다.
📖 전체 원본 읽기: r/LocalLLaMA
👀 See Also

Anthropic의 컴퓨터 사용 기능이 실제 테스트에서 거버넌스 봉쇄를 유발하다
Anthropic이 컴퓨터 사용 기능을 출시했으며, 거버넌스 통제를 구현하는 과정에서 위험 임계값이 LOCKDOWN 상태를 유발하여 운영자 자신의 거버넌스 작업을 포함한 모든 변경 작업을 차단했습니다.

Pomerium Identity-Aware Proxy를 활용한 OpenClaw 인프라 보안
OpenClaw 서버 접근을 보호하기 위해 제로 트러스트 인증을 위한 신원 인식 프록시로 Pomerium를 사용하세요.

OpenClaw, PicoClaw, ZeroClaw, IronClaw 및 Minion AI 에이전트에 대한 보안 조사 결과
5개 AI 코딩 에이전트에 대한 보안 평가에서 프롬프트 주입, 탈옥, 데이터 유출 등 12개 범주의 145개 공격 페이로드를 테스트했습니다. OpenClaw는 심각한 SQL 인젝션 취약점으로 77.8/100점을 받았고, Minion은 수정 후 81.2점에서 94.4/100점으로 향상되었습니다.

OpenClaw API 키 보안: 관리형 호스팅과 TEE에 대해 알아야 할 사항
레딧 게시글이 관리형 OpenClaw 호스트에 Anthropic API 키를 넘길 때의 위험을 분석하고, TEE(Intel TDX)가 하드웨어 수준에서 키를 격리하는 방법을 설명합니다.