エージェンティックWebインデックス：AIボットトラフィック統計が大量スクレイピングとスプーフィングを示す

Agentic Web Index：新しいAIボットトラフィックダッシュボード

Known Agentsは、5,000以上のウェブサイトにおけるAIエージェント、クローラー、スクレイパーの活動を追跡するダッシュボード「Agentic Web Index」を公開しました。データは同社のAgent AnalyticsとAIチャット参照トラッキングから取得され、サーバーに実際に何がアクセスしているかを具体的に示しています。

主要指標：ボットは全トラフィックの35%

過去90日間で、インデックスは以下を報告しています：

• ボット対人間のトラフィック：全訪問の35%がボットによるもので、前の90日間から1%減少。
• エージェント化：ボットトラフィックの29%がAI関連で、12%増加。
• AIチャット参照ボリューム：人間の訪問の0.1%がAIチャット経由で、7%減少。
• robots.txtの効果：ボットの98.5%がrobots.txtのルールに従っています。

トップエージェントタイプと訪問者

トラフィックをエージェントタイプ別に分類すると、従来の検索エンジンクローラーが依然として支配的（22.8%）で、次いでSEOクローラー（19.5%）、AI検索クローラー（12.5%）となっています。ClaudeBotやAmazonbotなどのAIデータスクレイパーは11%を占めています。

トップ5の訪問者：

1. bingbot — 検索エンジンクローラー (8.2%)
2. Googlebot — 検索エンジンクローラー (7.8%)
3. AhrefsBot — SEOクローラー (6.4%)
4. Known Agent DEV — 開発者ヘルパー (5.6%)
5. ChatGPT-User — AIアシスタント (3.4%)

その他の注目すべきエントリには、ClaudeBot（AIデータスクレイパー、3.2%）とmeta-externalagent（AIデータスクレイパー、2.3%）が含まれます。

AIボットを偽装した大規模な脆弱性スキャン

統計に加えて、サイトは増大するセキュリティ上の懸念を強調しています：攻撃者はClaudeBotなどのAIエージェントを偽装して、大規模な脆弱性スキャンを実行しています。正当なAIスクレイパーとしてトラフィックを偽装することで、モデルトレーニング用にページを取得しているだけだと思われるボットをブロックする可能性が低い多くのサイトで、弱点を探ることができます。

これは実際的な注意喚起です：robots.txtは提案であり、セキュリティ対策ではありません。スクレイパーを排除するためにこれに依存している場合、すでに露出しています。98.5%の遵守率は正直なボットにのみ適用されます。

対象読者

ウェブサイト、API、または公開サービスを運営している場合、このデータはあなたのインフラに実際に何がアクセスしているか、そしてユーザーエージェント文字列を信頼するのではなくボットの身元を検証する必要がある理由を理解するのに役立ちます。