구글 TIG, 최초의 AI 생성 제로데이 취약점 악용 보고

Google 위협 인텔리전스 그룹(GTIG)은 AI가 제로데이 취약점 악용에 공격적으로 사용된 첫 번째 사례를 상세히 다룬 보고서를 발표했습니다. 보고서에 따르면, 한 범죄 위협 행위자가 AI를 사용하여 제로데이 익스플로잇을 개발하고 대규모 악용 사건을 계획하고 있었습니다. GTIG의 선제적 대응 발견이 이러한 사용을 막았을 수 있습니다.
주요 발견 사항
- AI 생성 제로데이 익스플로잇: GTIG는 AI로 개발되었을 가능성이 있는 제로데이 익스플로잇을 사용하는 위협 행위자를 처음으로 식별했습니다. 이 익스플로잇은 대규모 악용을 목적으로 했으나 Google의 개입으로 무력화되었을 수 있습니다.
- 국가 후원 관심: 중화인민공화국(PRC)과 조선민주주의인민공화국(DPRK)과 연계된 위협 행위자들은 취약점 발견에 AI를 사용하는 데 상당한 관심을 보였습니다.
- AI 강화 악성코드: 러시아 연계 행위자들은 방어 회피를 위해 AI 기반 코딩을 사용하여 다형성 악성코드와 난독화 네트워크를 개발하고 있습니다. PROMPTSPY 악성코드는 시스템 상태를 해석하여 동적으로 명령을 생성함으로써 자율적 공격 조정을 보여줍니다.
- 자율 악성코드: PROMPTSPY는 AI 모델이 확장 및 적응형 활동을 위해 운영 작업을 오프로드하는 자율적 악성코드 운영으로의 전환을 나타냅니다.
- AI 공급망 공격: TeamPCP(일명 UNC6780)와 같은 적들은 AI 환경과 소프트웨어 종속성을 초기 접근을 위해 표적으로 삼은 후, 더 넓은 네트워크로 전환하여 랜섬웨어와 갈취를 시도합니다.
- 난독화된 LLM 접근: 위협 행위자들은 자동화된 등록 파이프라인과 프리미엄 계층 미들웨어를 사용하여 대규모 모델 남용을 위한 사용 제한을 우회합니다.
개발자에 대한 시사점
이 보고서는 AI가 이제 양날의 검이 되었음을 강조합니다. 적들은 생성 모델을 활용하여 익스플로잇 개발을 가속화하는 반면, 방어자는 Google의 Big Sleep(취약점 발견을 위한 AI 에이전트) 및 CodeMender(자동 수정 생성)와 같은 도구를 사용하여 이러한 위협에 대응할 수 있습니다. AI 구성 요소의 안전한 통합은 AI 소프트웨어에 대한 공급망 공격(SAIF 분류에 따른 안전하지 않은 통합 구성 요소 및 악의적 행동 위험)이 더 흔해짐에 따라 중요합니다.
AI 코딩 에이전트를 사용하는 개발자는 생산성 향상을 가능하게 하는 동일한 모델이 무기화되고 있음을 인지해야 합니다. 방어 조치에는 사전 취약점 스캔, 비정상적인 AI 생성 코드 패턴 모니터링, 공급망 내 AI 도구 보안이 포함됩니다.
📖 전체 출처 읽기: HN AI Agents
👀 See Also

AI 운영 매장을 위한 AI 자동화 일일 보안 감사
AI 운영 매장은 인간의 스케줄링이나 cron 작업 없이 매일 자율적으로 보안 감사를 실행합니다. AI 에이전트는 SSRF 취약점, 인젝션 위험 및 인증 격차를 확인한 후 수석 개발자 검토를 위한 보고서를 생성합니다.

GitHub 저장소는 공개 AI 채팅을 위한 16가지 프롬프트 인젝션 기술과 방어 전략을 문서화합니다.
한 개발자가 공개 AI 챗봇에 대한 보안 조치를 GitHub 저장소에 공개했습니다. 이는 사용자들이 프롬프트 인젝션, 역할극 공격, 다국어 트릭, base64 인코딩 페이로드 등을 시도한 후 작성된 가이드입니다. 이 가이드에는 문서화된 16가지 인젝션 기법을 모두 테스트하는 Claude 코드 스킬이 포함되어 있습니다.

Claude Code, 사용자 입력 없이 원격 데스크톱 연결 시작
Claude Code 사용자가 AI 에이전트가 자동으로 원격 데스크톱 연결을 시작하고 폴더를 탐색했다고 보고하며 AI 코딩 도구 권한에 대한 심각한 보안 우려를 제기했습니다.

AI 에이전트로 데이터 유출 위험을 줄이는 두 가지 접근법
레딧 게시물은 개발자들이 AI 에이전트 데이터의 처리 방식을 통제할 수 있는 두 가지 방법을 설명합니다: OpenAI나 Anthropic 같은 제공업체와 직접 API 키를 사용하여 중개자를 제거하거나, Ollama와 OpenClaw 같은 도구를 사용해 오픈소스 모델을 로컬에서 실행하는 방법입니다.