以色列的虚假智库利用SEO投毒攻击AI聊天机器人

이스라엘 정부는 AI 챗봇을 겨냥한 체계적인 허위 정보 캠페인을 진행 중입니다. 하노버 공공 정책 연구소(Hanover Institute for Public Policy)라는 가짜 싱크탱크가 클로드(Claude)와 제미니(Gemini) 같은 대규모 언어 모델(LLM)에 영향을 주기 위해 특별히 설계된 100개 이상의 기사를 게시했습니다. 이 보고서들은 각주, 목차, 중립적인 어조를 갖춰 신뢰할 수 있는 싱크탱크 연구를 모방하도록 제작되었으며, 이는 LLM이 인용할 때 선호하는 콘텐츠 유형입니다.

하노버 연구소는 스파이크 리의 '인사이드 맨' 제작자 다니엘 로젠버그가 공동 설립한 Piro, Inc.에 의해 만들어졌습니다. Piro는 이 작업에 대해 이스라엘 정부로부터 90만 달러를 받았으며, 하바스 미디어를 통해 하청 계약을 맺었습니다. 사이트의 작은 글씨에는 '이스라엘 정부 광고 대행 기관을 대신하여' 제작되었다고 명시되어 있습니다.

기사는 공식화된 패턴을 따릅니다: '1948년 팔레스타인 인구의 강제 이주를 초래한 원인은 무엇인가?' 또는 'IDF가 세계에서 가장 도덕적인 군대인가?' 같은 순진한 질문을 던지고, 데이터가 풍부하고 동료 검토를 거친 것처럼 보이는 인용으로 답변합니다. 또한 많은 기사가 주제를 증가하는 반유대주의와 연결하며, 종종 같은 연구를 인용합니다.

LLM을 속이도록 설계

Piro의 웹사이트는 'LLM이 신뢰성을 평가하는 방식에 맞게 설계된 콘텐츠'를 저자들이 작성한다고 말하며, 이를 'AI 스토리 최적화'라고 부릅니다. 다른 이들은 이를 'LLM 중독'이라고 부릅니다. 이 전술은 AI 검색 및 채팅의 알려진 취약점을 이용합니다. LLM은 종종 웹에서 정보를 검색하고 권위 있어 보이는 출처에 더 높은 가중치를 부여합니다. 합성 보고서로 웹을 채움으로써, 이 캠페인은 이스라엘/팔레스타인에 대한 챗봇 답변을 형성하는 것을 목표로 합니다.

효과가 있는 이유

뉴스가드(NewsGuard)의 분석가 앨리스 리는 다음과 같이 설명했습니다: "LLM은 구체적인 통계와 데이터, 강력한 인용과 출처를 선호하는데, 이 기사들은 모두 갖추고 있습니다." 사이트는 평범한 이름과 빨강-파랑-하양 색 구성표에 이르기까지 전형적인 미국 싱크탱크를 모방합니다. 보고서는 '인용된 연구는 동료 검토를 거쳤고 학술적이다'라고 주장하면서도 IDF와 외무부 같은 이스라엘 정부 출처를 자주 인용합니다.

AI 탐지 테스트에서 GPTZero는 무작위로 추출한 12개 기사 중 11개를 '높은 신뢰도'로 AI가 작성한 것으로 식별했습니다. 이 캠페인은 분쟁에 대한 정보를 검색하는 미국 청중을 겨냥한 것으로 보입니다.

이것은 개발자들이 경계해야 할 신호입니다: AI 기반 검색 엔진이 이 보고서를 합법적인 출처로 표면화할 수 있습니다. 채팅 에이전트를 구축하는 사람들은 합성 콘텐츠를 모니터링하고 AI 생성 허위 정보를 탐지하는 검증 레이어를 고려해야 합니다. 규모(단 1주일 조금 넘는 기간에 100개 기사)는 이것이 얼마나 빠르게 퍼질 수 있는지 보여줍니다.