Índice Web Agêntico: Estatísticas de Tráfego de Bots de IA Mostram Raspagem em Massa e Falsificação

Índice Web de Agentes: O Novo Painel de Tráfego de Bots de IA

A Known Agents publicou o Índice Web de Agentes, um painel que monitora a atividade de agentes de IA, rastreadores e scrapers em mais de 5.000 sites. Os dados vêm de suas ferramentas Agent Analytics e AI Chat Referral Tracking, e fornecem uma visão concreta do que está realmente atingindo seus servidores.

Métricas Principais: Bots São 35% de Todo o Tráfego

Nos últimos 90 dias, o índice relata:

• Tráfego de Bots vs. Humanos: 35% de todas as visitas são de bots — uma queda de 1% em relação aos 90 dias anteriores.
• Agenteificação: 29% do tráfego de bots é relacionado a IA — um aumento de 12%.
• Volume de Indicações de Chat de IA: 0,1% das visitas humanas vêm de chat de IA — uma queda de 7%.
• Eficácia do robots.txt: 98,5% dos bots seguem as regras do robots.txt.

Principais Tipos de Agentes e Visitantes

Ao detalhar o tráfego por tipo de agente, os rastreadores tradicionais de mecanismos de busca ainda dominam (22,8%), seguidos por rastreadores de SEO (19,5%) e rastreadores de busca de IA (12,5%). Scrapers de dados de IA como ClaudeBot e Amazonbot compõem 11%.

Os cinco principais visitantes:

1. bingbot — Rastreador de Mecanismo de Busca (8,2%)
2. Googlebot — Rastreador de Mecanismo de Busca (7,8%)
3. AhrefsBot — Rastreador de SEO (6,4%)
4. Known Agent DEV — Auxiliar de Desenvolvimento (5,6%)
5. ChatGPT-User — Assistente de IA (3,4%)

Outras entradas notáveis incluem ClaudeBot (Scraper de Dados de IA, 3,2%) e meta-externalagent (Scraper de Dados de IA, 2,3%).

Falsificação de Bots de IA para Varreduras em Massa de Vulnerabilidades

Além das estatísticas, o site destaca uma preocupação de segurança crescente: atacantes estão falsificando agentes de IA como o ClaudeBot para realizar varreduras em massa de vulnerabilidades. Ao disfarçar seu tráfego como um scraper de IA legítimo, eles podem sondar sites em busca de fraquezas enquanto passam despercebidos — muitos sites provavelmente não bloquearão um bot que acham estar apenas buscando páginas para treinamento de modelos.

Este é um lembrete prático: robots.txt é uma sugestão, não uma medida de segurança. Se você depende dele para manter scrapers afastados, você já está exposto. A taxa de conformidade de 98,5% se aplica apenas a bots honestos.

Para Quem é Isto

Se você administra um site, API ou qualquer serviço voltado ao público, estes dados ajudam a entender o que está realmente atingindo sua infraestrutura — e por que você precisa validar identidades de bots em vez de confiar em suas strings de user-agent.