숨겨진 오디오 신호로 음성 AI 시스템을 79-96% 성공률로 탈취하다
IEEE 시큐리티 앤 프라이버시 심포지엄에서 발표된 새로운 연구는 대규모 오디오-언어 모델(LALM)에 대한 실질적인 공격 벡터를 공개했습니다. 공격자는 오디오 클립에 감지할 수 없는 신호를 삽입하여 모델의 동작을 가로챌 수 있으며, Microsoft 및 Mistral의 상용 서비스를 포함한 13개의 주요 오픈 모델에서 평균 79-96%의 성공률을 달성했습니다.
공격 작동 방식
변조된 오디오 클립은 인간의 귀에는 들리지 않지만 모델이 숨겨진 명령을 실행하도록 유발합니다. 중요한 점은, 이 공격이 사용자의 동반 지시와 관계없이 작동하며, 동일한 클립을 동일한 모델에 대해 여러 번 재사용할 수 있다는 것입니다. 적대적 신호를 훈련하는 데는 약 30분이 소요됩니다.
악용된 기능
연구자들은 손상된 모델이 다음과 같은 작업을 수행하도록 강제될 수 있음을 입증했습니다:
- 사용자 모르게 민감한 웹 검색 수행
- 공격자가 제어하는 소스에서 파일 다운로드
- 사용자 데이터가 포함된 이메일을 외부 주소로 전송
영향을 받는 모델
이 공격은 상용 음성 AI API를 포함한 13개의 인기 있는 오픈 웨이트 LALM에 대해 검증되었습니다. 이는 현재 음성 AI 시스템이 적대적 오디오 섭동에 대한 강력한 보호 장치를 갖추지 못했음을 강조합니다.
📖 전체 소스 읽기: HN AI Agents
👀 See Also
레딧의 13개 단어가 AI 검색을 조작할 수 있다: 코넬 연구
코넬 연구에 따르면, Reddit이나 Wikipedia에 게시된 13단어 문장 하나로 AI 검색 에이전트를 신뢰성 있게 오염시킬 수 있습니다. 모든 AI 인용의 절반은 사용자 생성 콘텐츠(UGC) 사이트에서 비롯되며, 브랜드가 홍보 콘텐츠를 쉽게 주입할 수 있습니다.
MCP 패키지 보안 스캔 결과, 확인 절차 없이도 광범위한 파괴적 기능이 드러났습니다.
npm의 2,386개 MCP 패키지를 대상으로 한 보안 스캔 결과, 63.5%가 파일 삭제 및 데이터베이스 삭제와 같은 파괴적인 작업을 인간의 확인 없이 노출하는 것으로 나타났습니다. 연구원은 전체적으로 49%에 보안 문제가 있으며, 402개의 치명적 및 240개의 높은 심각도 취약점이 발견되었다고 밝혔습니다.
NPM 및 PyPI 공급망 대규모 공격, TanStack, Mistral AI 및 170개 이상 패키지에 영향
조율된 공격으로 170개 이상의 npm 패키지와 2개의 PyPI 패키지가 손상되었으며, TanStack(42개 패키지), Mistral AI SDK, UiPath, OpenSearch 및 Guardrails AI를 표적으로 삼았습니다. 악성 버전은 자격 증명을 유출하고 클라우드 메타데이터를 탐지하는 드로퍼를 실행합니다.
OpenClaw Slack 보안: API 키 노출 위험 및 해결 방법
OpenClaw Slack 배포 시 채널의 오류 메시지를 통해 API 키가 노출될 수 있으며, Bitsight 보고서에서 8,000개 이상의 노출된 인스턴스가 발견되었습니다. 출처는 세 가지 구체적인 취약점을 상세히 설명하고 시스템 프롬프트 수정 및 SlackClaw 마이그레이션을 포함한 실용적인 해결책을 제공합니다.