ミアズマ：AIウェブスクレイパーを毒データで罠にかける方法

Miasmaの機能

Miasmaは、AIウェブスクレイパーを罠にかけるために設計されたツールで、毒入りのトレーニングデータと複数の自己参照リンクを提供し、開発者が「スロップマシンのための無限のスロップビュッフェ」と呼ぶものを生成します。このツールは、最小限のメモリ使用量で高速に動作するように構築されています。

Cargoでインストール: cargo install miasma または、リリースから事前ビルド済みバイナリをダウンロード。

デフォルト設定で起動: miasma

すべての設定オプションを表示: miasma --help

典型的なセットアップは次の手順を含みます:

サイトに特定のパス（例: /bots）を指す隠しリンクを埋め込み、人間の訪問者には見えないがスクレイパーには見える属性を設定:
```
<a href="/bots" style="display: none;" aria-hidden="true" tabindex="1">Amazing high quality data here!</a>
```
そのパスをMiasmaにルーティングするリバースプロキシ（Nginxなど）を設定:
```
location ~ ^/bots($|/.*)$ {
  proxy_pass http://localhost:9855;
}
```
特定のパラメータでMiasmaを実行:
miasma --link-prefix '/bots' -p 9855 -c 50

-c 50フラグは最大同時接続数を50に制限し、50-60 MBのピークメモリ使用量をもたらします。この制限を超えるリクエストは429レスポンスを受け取ります。

開発者は、robots.txtファイルでフレンドリーなボットや検索エンジンを保護することを推奨しています:

User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Slurp
User-agent: SomeOtherNiceBot
Disallow: /bots
Allow: /

MiasmaはGPL-3.0でライセンスされており、開発者は「主にAI生成の貢献は自動的に拒否されます」と注記しています。

📖 Read the full source: HN AI Agents