도메인 위장 주입 공격, 다중 에이전트 LLM 시스템에서 탐지 회피
Aaditya Pai의 새 논문은 LLM 인젝션 탐지기의 치명적인 사각지대를 밝혀냈습니다: 도메인 카무플라주 인젝션 공격—대상 문서의 어휘와 권위 구조를 모방하도록 생성된 페이로드—이 체계적으로 탐지를 회피한다는 것입니다. 표준 탐지기는 정적 페이로드를 높은 비율로 탐지하지만, 카무플라주된 페이로드에는 실패합니다.
주요 발견
- Llama 3.1 8B의 탐지율: 93.8%(정적)에서 9.7%(카무플라주)로 하락.
- Gemini 2.0 Flash의 탐지율: 100%에서 55.6%로 하락.
- 프로덕션 안전 분류기인 Llama Guard 3는 카무플라주된 페이로드를 0건 탐지했습니다 (IDR = 0.000).
- 카무플라주 탐지 격차(CDG)는 45개 작업과 세 도메인에서 통계적으로 유의미합니다 (Llama: χ² = 38.03, p < 0.001; Gemini: χ² = 17.05, p < 0.001).
다중 에이전트 토론이 공격을 증폭
다중 에이전트 토론 구조는 작은 모델에서 정적 인젝션 공격을 최대 9.9배까지 증폭시킵니다. 강력한 모델은 집단적 저항을 보입니다. 표적 탐지기 보강은 격차를 부분적으로만 해소합니다: Llama에서 10.2%, Gemini에서 78.7% 개선—취약점이 약한 모델의 구조적 문제임을 시사합니다.
프레임워크 공개
저자들은 프레임워크, 작업 은행, 페이로드 생성기를 공개했습니다. 사각지대는 퓨샷 탐지기에서 전용 안전 분류기로 확장되며, 현재 접근 방식의 근본적인 약점을 시사합니다.
📖 전체 출처 읽기: HN LLM Tools
👀 See Also
Caelguard: OpenClaw 인스턴스를 위한 오픈 소스 보안 스캐너
Caelguard는 OpenClaw를 위해 구축된 오픈소스 보안 스캐너로, Docker 격리, 도구 권한 범위 지정, 스킬 공급망 검증을 포함하여 인스턴스 전반에 걸쳐 22가지 검사를 실행합니다. 140점 만점에 점수와 등급, 구체적인 수정 단계를 제공합니다.
에이전트실 보안 스캔, 블렌더 MCP 서버에서 AI 에이전트 위험 발견
AgentSeal이 Blender MCP 서버(별 17,000개)를 스캔하여 AI 에이전트와 관련된 여러 보안 문제를 식별했습니다. 여기에는 임의의 Python 실행, 잠재적인 파일 유출 체인, 도구 설명 내 프롬프트 인젝션 패턴 등이 포함됩니다.
로컬 ChromaDB + LM Studio 스택을 위한 오픈소스 RAG 공격 및 방어 실험실
오픈소스 연구실이 ChromaDB와 LM Studio를 사용한 기본 로컬 설정에서 RAG 지식 베이스 중독 효과를 측정하여, 방어되지 않은 시스템에서 95%의 성공률을 보였으며 실용적인 방어 방법을 평가했습니다.
제로 트러스트 오픈클로 아키텍처는 실행 전 권한 부여와 실행 후 검증을 추가합니다.
OpenClaw를 위한 오픈소스 아키텍처는 두 가지 보안 검증 지점을 추가합니다: 실행 전에 도구 호출을 가로채어 밀리초 미만의 인증 오버헤드를 제공하는 Rust 사이드카, 그리고 LLM 판단 대신 어설션을 사용하는 결정론적 실행 후 검증입니다. 이 시스템은 DOM 스냅샷과 스크린샷을 포함한 추적 기능과 토큰 사용량을 90-99% 줄이는 DOM 압축 기술을 포함합니다.