숨겨진 오디오 신호로 음성 AI 시스템을 79-96% 성공률로 탈취하다
IEEE 시큐리티 앤 프라이버시 심포지엄에서 발표된 새로운 연구는 대규모 오디오-언어 모델(LALM)에 대한 실질적인 공격 벡터를 공개했습니다. 공격자는 오디오 클립에 감지할 수 없는 신호를 삽입하여 모델의 동작을 가로챌 수 있으며, Microsoft 및 Mistral의 상용 서비스를 포함한 13개의 주요 오픈 모델에서 평균 79-96%의 성공률을 달성했습니다.
공격 작동 방식
변조된 오디오 클립은 인간의 귀에는 들리지 않지만 모델이 숨겨진 명령을 실행하도록 유발합니다. 중요한 점은, 이 공격이 사용자의 동반 지시와 관계없이 작동하며, 동일한 클립을 동일한 모델에 대해 여러 번 재사용할 수 있다는 것입니다. 적대적 신호를 훈련하는 데는 약 30분이 소요됩니다.
악용된 기능
연구자들은 손상된 모델이 다음과 같은 작업을 수행하도록 강제될 수 있음을 입증했습니다:
- 사용자 모르게 민감한 웹 검색 수행
- 공격자가 제어하는 소스에서 파일 다운로드
- 사용자 데이터가 포함된 이메일을 외부 주소로 전송
영향을 받는 모델
이 공격은 상용 음성 AI API를 포함한 13개의 인기 있는 오픈 웨이트 LALM에 대해 검증되었습니다. 이는 현재 음성 AI 시스템이 적대적 오디오 섭동에 대한 강력한 보호 장치를 갖추지 못했음을 강조합니다.
📖 전체 소스 읽기: HN AI Agents
👀 See Also
제로 트러스트 오픈클로 아키텍처는 실행 전 권한 부여와 실행 후 검증을 추가합니다.
OpenClaw를 위한 오픈소스 아키텍처는 두 가지 보안 검증 지점을 추가합니다: 실행 전에 도구 호출을 가로채어 밀리초 미만의 인증 오버헤드를 제공하는 Rust 사이드카, 그리고 LLM 판단 대신 어설션을 사용하는 결정론적 실행 후 검증입니다. 이 시스템은 DOM 스냅샷과 스크린샷을 포함한 추적 기능과 토큰 사용량을 90-99% 줄이는 DOM 압축 기술을 포함합니다.
클로드의 보안 검토 명령어는 프로덕션 시스템에 사용하기에는 제한이 있습니다.
한 개발자가 Claude의 보안 검토 명령어가 MIME 유형과 파일 크기 제한과 같은 기본적인 검증에는 유용했지만, 정교한 위협에 대비한 프로덕션 강화에는 부족하다는 점을 발견했습니다. 해결책은 파일 처리를 제한된 권한을 가진 격리된 워커로 분리하는 2주간의 아키텍처 개편이 필요했습니다.
클로드 코드 권한 감사: 도구 접근 범위 지정 실무 가이드
Reddit 사용자가 자신의 Claude Code 설정을 감사한 결과, .env 파일과 프로덕션 설정을 편집할 수 있는 과도한 권한이 부여된 도구들을 발견했습니다. 실용적인 단계: 전역 도구와 프로젝트별 도구를 감사하고, CLAUDE.md에서 비밀 정보를 확인하며, 디렉토리별로 파일 액세스 범위를 지정하세요.
가짜 클로드 코드 사이트, 트로이 목마 유포 — 윈도우 디펜더가 Trojan:Win32/Kepavll!rfn으로 탐지
공식 Claude Code 웹사이트를 사칭한 오타변경(typosquatting) 또는 광고 기반 사이트가 Windows Defender에서 Trojan:Win32/Kepavll!rfn으로 탐지된 트로이목마를 유포했습니다. Reddit 사용자는 PowerShell 설치 명령어를 실행하기 전에 URL을 확인하라고 경고합니다.