Índice Web de Agentes: Las Estadísticas de Tráfico de Bots de IA Muestran Raspado Masivo y Suplantación

Índice Web de Agentes: El Nuevo Panel de Tráfico de Bots de IA

Known Agents ha publicado el Índice Web de Agentes, un panel que rastrea la actividad de agentes de IA, rastreadores y scrapers en más de 5,000 sitios web. Los datos provienen de su Agent Analytics y AI Chat Referral Tracking, y ofrecen una visión concreta de lo que realmente está impactando tus servidores.

Métricas Clave: Los Bots Son el 35% de Todo el Tráfico

En los últimos 90 días, el índice reporta:

• Tráfico de Bots vs. Humanos: El 35% de todas las visitas son de bots, un 1% menos que en los 90 días anteriores.
• Agentificación: El 29% del tráfico de bots está relacionado con IA, un 12% más.
• Volumen de Referencias de Chat de IA: El 0.1% de las visitas humanas provienen de chat de IA, un 7% menos.
• Efectividad de robots.txt: El 98.5% de los bots siguen las reglas de robots.txt.

Principales Tipos de Agentes y Visitantes

Al desglosar el tráfico por tipo de agente, los rastreadores de motores de búsqueda tradicionales aún dominan (22.8%), seguidos por los rastreadores SEO (19.5%) y los rastreadores de búsqueda de IA (12.5%). Los scrapers de datos de IA como ClaudeBot y Amazonbot representan el 11%.

Los cinco principales visitantes:

1. bingbot — Rastreador de Motor de Búsqueda (8.2%)
2. Googlebot — Rastreador de Motor de Búsqueda (7.8%)
3. AhrefsBot — Rastreador SEO (6.4%)
4. Known Agent DEV — Ayudante de Desarrollador (5.6%)
5. ChatGPT-User — Asistente de IA (3.4%)

Otras entradas notables incluyen ClaudeBot (Scraper de Datos de IA, 3.2%) y meta-externalagent (Scraper de Datos de IA, 2.3%).

Suplantación de Bots de IA para Escaneos Masivos de Vulnerabilidades

Más allá de las estadísticas, el sitio destaca una creciente preocupación de seguridad: los atacantes están suplantando a agentes de IA como ClaudeBot para ejecutar escaneos masivos de vulnerabilidades. Al disfrazar su tráfico como un scraper de IA legítimo, pueden sondear sitios web en busca de debilidades mientras pasan desapercibidos: muchos sitios es poco probable que bloqueen a un bot que creen que solo está obteniendo páginas para entrenar modelos.

Este es un recordatorio práctico: robots.txt es una sugerencia, no una medida de seguridad. Si dependes de él para mantener fuera a los scrapers, ya estás expuesto. La tasa de cumplimiento del 98.5% solo se aplica a bots honestos.

Para Quién Es Esto

Si ejecutas un sitio web, una API o cualquier servicio público, estos datos te ayudan a entender qué está impactando realmente tu infraestructura y por qué necesitas validar las identidades de los bots en lugar de confiar en sus cadenas de user-agent.