Миазма: Инструмент для ловли веб-сканеров ИИ с помощью отравленных данных

Что делает Miasma

Miasma — это инструмент, предназначенный для ловли веб-скраперов ИИ, предоставляя им отравленные обучающие данные вместе с множеством самоссылающихся ссылок, создавая то, что разработчики называют «бесконечным буфетом отходов для машин по переработке отходов». Инструмент создан для быстрой работы с минимальным потреблением памяти.

Установка и настройка

Установите через Cargo: cargo install miasma или скачайте готовые бинарные файлы из релизов.

Запустите с конфигурацией по умолчанию: miasma

Просмотрите все параметры конфигурации: miasma --help

Как ловить скраперов

Типичная настройка включает:

1. Встраивание скрытых ссылок на вашем сайте, указывающих на определённый путь (например, /bots), с атрибутами, которые делают их невидимыми для посетителей-людей, но видимыми для скраперов:
   

   <a href="/bots" style="display: none;" aria-hidden="true" tabindex="1">Потрясающие высококачественные данные здесь!</a>

2. Настройку обратного прокси (например, Nginx) для маршрутизации этого пути к Miasma:
   

   location ~ ^/bots($|/.*)$ {
     proxy_pass http://localhost:9855;
   }

3. Запуск Miasma с определёнными параметрами:
   miasma --link-prefix '/bots' -p 9855 -c 50

Флаг -c 50 ограничивает максимальное количество одновременных подключений до 50, что приводит к пиковому использованию памяти 50–60 МБ. Запросы, превышающие этот лимит, получают ответ 429.

Параметры конфигурации

• --port: По умолчанию 9999 — порт, к которому должен привязываться сервер
• --host: По умолчанию localhost — адрес хоста, к которому должен привязываться сервер
• --max-in-flight: По умолчанию 500 — максимальное допустимое количество одновременных запросов
• --link-prefix: По умолчанию / — префикс для самоссылающихся ссылок (должен соответствовать пути размещения)
• --link-count: По умолчанию 5 — количество самоссылающихся ссылок, включаемых на каждой странице ответа
• --force-gzip: По умолчанию false — всегда сжимать ответы gzip независимо от заголовка Accept-Encoding
• --poison-source: По умолчанию https://rnsaffn.com/poison2/ — прокси-источник для отравленных обучающих данных

Важные соображения

Разработчики рекомендуют защищать дружественных ботов и поисковые системы в вашем файле robots.txt:

User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Slurp
User-agent: SomeOtherNiceBot
Disallow: /bots
Allow: /

Miasma лицензирован под GPL-3.0, и разработчики отмечают, что «в основном автоматически отклоняются вклады, сгенерированные ИИ».