Агентный веб-индекс: статистика трафика ИИ-ботов показывает массовый скрейпинг и подмену данных

Индекс агентного веба: новая панель мониторинга ИИ-ботов

Компания Known Agents опубликовала Индекс агентного веба — панель мониторинга, отслеживающую активность ИИ-агентов, краулеров и скрейперов на более чем 5000 веб-сайтах. Данные получены из их системы Agent Analytics и отслеживания рефералов из ИИ-чатов, что дает конкретное представление о том, что на самом деле происходит на ваших серверах.

Ключевые показатели: боты составляют 35% всего трафика

За последние 90 дней индекс сообщает:

• Боты против людей: 35% всех посещений — от ботов, что на 1% меньше, чем за предыдущие 90 дней.
• Агентификация: 29% ботового трафика связано с ИИ, что на 12% больше.
• Объем рефералов из ИИ-чатов: 0,1% человеческих посещений приходит из ИИ-чатов, что на 7% меньше.
• Эффективность robots.txt: 98,5% ботов соблюдают правила robots.txt.

Топ типов агентов и посетителей

Если разбить трафик по типам агентов, традиционные поисковые краулеры по-прежнему доминируют (22,8%), за ними следуют SEO-краулеры (19,5%) и краулеры ИИ-поиска (12,5%). ИИ-скрейперы данных, такие как ClaudeBot и Amazonbot, составляют 11%.

Топ-5 посетителей:

1. bingbot — поисковый краулер (8,2%)
2. Googlebot — поисковый краулер (7,8%)
3. AhrefsBot — SEO-краулер (6,4%)
4. Known Agent DEV — помощник разработчика (5,6%)
5. ChatGPT-User — ИИ-ассистент (3,4%)

Другие заметные записи включают ClaudeBot (ИИ-скрейпер данных, 3,2%) и meta-externalagent (ИИ-скрейпер данных, 2,3%).

Подделка ИИ-ботов для массового сканирования уязвимостей

Помимо статистики, сайт подчеркивает растущую проблему безопасности: злоумышленники подделывают ИИ-агентов, таких как ClaudeBot, для массового сканирования уязвимостей. Маскируя свой трафик под легитимного ИИ-скрейпера, они могут проверять веб-сайты на слабые места, оставаясь незамеченными — многие сайты вряд ли заблокируют бота, который, как они думают, просто загружает страницы для обучения моделей.

Это практическое напоминание: robots.txt — это рекомендация, а не мера безопасности. Если вы полагаетесь на него для защиты от скрейперов, вы уже уязвимы. Уровень соблюдения в 98,5% относится только к честным ботам.

Для кого это

Если вы управляете веб-сайтом, API или любым публичным сервисом, эти данные помогут вам понять, что на самом деле происходит в вашей инфраструктуре — и почему вам нужно проверять подлинность ботов, а не доверять их строкам user-agent.