Израильский фейковый аналитический центр атакует ИИ-чатботов с помощью SEO-отравления

Правительство Израиля ведет скоординированную кампанию дезинформации, нацеленную на ИИ-чат-ботов. Фейковый аналитический центр под названием Ганноверский институт государственной политики опубликовал более 100 статей, специально предназначенных для влияния на большие языковые модели (LLM), такие как Claude и Gemini. Отчеты созданы так, чтобы имитировать заслуживающие доверия исследования аналитических центров, с сносками, оглавлением и нейтральным тоном — именно тот контент, который LLM предпочитают для цитирования.

Ганноверский институт был создан компанией Piro, Inc., соучредителем которой является Дэниел Розенберг, продюсер фильма Спайка Ли «Инсайдер». Piro получила 900 000 долларов от израильского правительства за эту работу, по субподряду через Havas Media. Мелкий шрифт на сайте показывает, что он был создан «от имени Израильского государственного рекламного агентства».

Статьи построены по формуле: они задают невинно звучащие вопросы, например «Что вызвало перемещение палестинцев в 1948 году?» или «Является ли ЦАХАЛ самой моральной армией в мире?», и отвечают на них с использованием насыщенных данными, звучащих как рецензируемые цитат. Многие также связывают тему с ростом антисемитизма, часто ссылаясь на одни и те же исследования.

Создано для обмана LLM

На сайте Piro говорится, что они «автор(ы) контента, созданного с учетом того, как LLM оценивают достоверность», называя это «AI Story Optimization». Другие называют это «отравлением LLM». Эта тактика использует известную уязвимость в ИИ-поиске и чате: LLM часто полагаются на извлечение данных из Интернета и придают больше веса источникам, которые выглядят авторитетными. Засеивая интернет этими синтетическими отчетами, кампания направлена на формирование ответов чат-ботов о Израиле/Палестине.

Почему это работает

Элис Ли, аналитик NewsGuard, объяснила: «LLM предпочитают конкретные статистические данные и цифры, а также сильные цитаты и источники, что есть во всех этих статьях». Сайт имитирует типичный американский аналитический центр вплоть до общего названия и красно-бело-синей цветовой схемы. В отчетах часто цитируются израильские правительственные источники, такие как ЦАХАЛ и Министерство иностранных дел, несмотря на заявления о том, что «цитируемые исследования рецензируются и являются академическими».

В тесте на обнаружение ИИ GPTZero с «высокой уверенностью» определил 11 из 12 случайно выбранных статей как написанные ИИ. Кампания, по-видимому, нацелена на американскую аудиторию, ищущую информацию о конфликте.

Это призыв к разработчикам быть осторожными: поисковые системы на базе ИИ могут отображать эти отчеты как законные источники. Создателям чат-агентов следует отслеживать синтетический контент и рассмотреть уровни проверки, которые обнаруживают дезинформацию, созданную ИИ. Масштаб — 100 статей чуть более чем за неделю — показывает, как быстро это может распространяться.