ミアズマ：AIウェブスクレイパーを毒データで罠にかけるツール

Miasmaの機能

Miasmaは、AIウェブスクレイパーを罠にかけるために設計されたツールで、毒入りのトレーニングデータと複数の自己参照リンクを提供し、開発者が「スロップマシンのための無限のスロップビュッフェ」と呼ぶものを生成します。このツールは、最小限のメモリ使用量で高速に動作するように構築されています。

インストールとセットアップ

Cargoでインストール: cargo install miasma または、リリースから事前ビルド済みバイナリをダウンロード。

デフォルト設定で起動: miasma

すべての設定オプションを表示: miasma --help

スクレイパーを罠にかける方法

典型的なセットアップは次の手順を含みます:

1. サイトに特定のパス（例: /bots）を指す隠しリンクを埋め込み、人間の訪問者には見えないがスクレイパーには見える属性を設定:
   

   <a href="/bots" style="display: none;" aria-hidden="true" tabindex="1">Amazing high quality data here!</a>

2. そのパスをMiasmaにルーティングするリバースプロキシ（Nginxなど）を設定:
   

   location ~ ^/bots($|/.*)$ {
     proxy_pass http://localhost:9855;
   }

3. 特定のパラメータでMiasmaを実行:
   miasma --link-prefix '/bots' -p 9855 -c 50

-c 50フラグは最大同時接続数を50に制限し、50-60 MBのピークメモリ使用量をもたらします。この制限を超えるリクエストは429レスポンスを受け取ります。

設定オプション

• --port: デフォルト 9999 - サーバーがバインドするポート
• --host: デフォルト localhost - サーバーがバインドするホストアドレス
• --max-in-flight: デフォルト 500 - 許可される最大同時リクエスト数
• --link-prefix: デフォルト / - 自己参照リンクのプレフィックス（ホスティングパスと一致させる必要があります）
• --link-count: デフォルト 5 - 各レスポンスページに含める自己参照リンクの数
• --force-gzip: デフォルト false - Accept-Encodingヘッダーに関わらず常にレスポンスをgzip圧縮
• --poison-source: デフォルト https://rnsaffn.com/poison2/ - 毒入りトレーニングデータのプロキシソース

重要な考慮事項

開発者は、robots.txtファイルでフレンドリーなボットや検索エンジンを保護することを推奨しています:

User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Slurp
User-agent: SomeOtherNiceBot
Disallow: /bots
Allow: /

MiasmaはGPL-3.0でライセンスされており、開発者は「主にAI生成の貢献は自動的に拒否されます」と注記しています。