AI 에이전트 보안: Jailbreak을 넘어 도구 오용과 프롬프트 인젝션까지
AI 에이전트 보안의 전환
AI 분야의 보안 초점은 교묘한 프롬프트로 모델이 지시를 무시하게 만드는 전통적인 '탈옥(jailbreak)'에서 에이전트 시스템의 더 복잡한 위험으로 전환되었습니다. 챗봇과 달리, 현대 AI 에이전트는 행동을 수행합니다: 웹을 탐색하고, 문서를 읽고, 도구를 호출하며, 명령을 실행하고, 워크플로우를 트리거합니다. 이러한 행동 수행 능력은 보안 모델을 근본적으로 변화시킵니다.
주요 보안 패턴
테스트 결과 에이전트 워크플로우에서 일관된 패턴이 드러납니다:
- 프롬프트 인젝션: 신뢰할 수 없는 콘텐츠가 에이전트가 도구를 사용하는 방식에 영향을 미칩니다.
- 도구 오용: 합법적인 도구(셸 실행, HTTP 요청, 메시징 등)가 에이전트가 읽는 텍스트를 조작하는 공격자에 의해 리디렉션됩니다.
- 지시 사항 유출: 에이전트가 조작된 지시를 통해 내부 컨텍스트를 의도치 않게 노출할 수 있습니다.
문서화된 구체적인 예시 중 하나는, 에이전트가 인젝션된 지시를 받은 후 자체 메시징 도구를 사용하여 내부 컨텍스트를 외부로 전송하는 경우입니다.
실질적 영향
AI 에이전트를 구축하거나 실험하는 개발자들에게 이는 보안 고려사항이 탈옥 방지 이상으로 확장되어야 함을 의미합니다. 에이전트 도구와 신뢰할 수 없는 콘텐츠 간의 상호작용은 공격자가 도구 자체를 손상시키지 않고도 도구 사용을 리디렉션할 수 있는 취약점을 만들어냅니다.
📖 전체 출처 읽기: r/LocalLLaMA
👀 See Also
LLM 지원 익스플로잇: Anthropic의 Mythos Preview가 애플 M5에서 첫 공개 macOS 커널 익스플로잇을 5일 만에 구축하는 데 기여
Anthropic의 Mythos Preview를 사용하여 보안 회사 Calif가 Apple M5 실리콘에서 최초의 공개 macOS 커널 메모리 손상 익스플로잇을 5일 만에 구축했습니다. 이는 Apple이 5년에 걸쳐 개발한 MIE 하드웨어 보안을 무너뜨린 것입니다.
ClawScan 및 VirusTotal을 통과한 5가지 악성 OpenClaw 기술: Unit 42 분석
Unit 42 연구진이 ClawScan과 VirusTotal 탐지를 모두 통과한 5개의 악성 OpenClaw 스킬을 발견했습니다. 사용된 기술로는 런타임 리퍼럴 스와핑, SOL 풀링을 통한 펌프 앤 덤프, 22MB README 패딩을 통한 AMOS 드로퍼 은닉 등이 있습니다.
노출된 OpenClaw 도구의 실시간 대시보드
Moltbot 및 Clawdbot과 같은 OpenClaw 도구의 노출된 제어판을 보여주는 대시보드를 선보입니다.
공급망 공격은 탐지를 우회하기 위해 보이지 않는 유니코드 코드를 사용합니다.
연구진이 3월 3일부터 9일까지 GitHub에 업로드된 151개의 악성 패키지를 발견했습니다. 이 패키지들은 보이지 않는 유니코드 문자를 사용하여 악성 코드를 숨기고 있습니다. 이 공격은 GitHub, NPM, Open VSX 저장소를 대상으로 하며, 합법적으로 보이지만 숨겨진 페이로드를 포함하는 패키지를 사용합니다.