Agentisches Web-Verzeichnis: KI-Bot-Verkehrsstatistiken zeigen massives Scraping und Spoofing

Agentic Web Index: Das neue KI-Bot-Traffic-Dashboard

Known Agents hat den Agentic Web Index veröffentlicht, ein Dashboard, das KI-Agenten-, Crawler- und Scraper-Aktivitäten auf über 5.000 Websites verfolgt. Die Daten stammen aus ihrer Agent Analytics und AI Chat Referral Tracking und geben einen konkreten Einblick, was tatsächlich auf Ihren Servern ankommt.

Wichtige Kennzahlen: Bots machen 35 % des gesamten Traffics aus

In den letzten 90 Tagen meldet der Index:

• Bot- vs. Menschen-Traffic: 35 % aller Besuche stammen von Bots – 1 % weniger als in den vorherigen 90 Tagen.
• Agentrifizierung: 29 % des Bot-Traffics sind KI-bezogen – ein Anstieg von 12 %.
• Empfehlungsvolumen von KI-Chats: 0,1 % der menschlichen Besuche kommen von KI-Chats – ein Rückgang von 7 %.
• Effektivität von robots.txt: 98,5 % der Bots befolgen die robots.txt-Regeln.

Top-Agententypen und -Besucher

Wenn man den Traffic nach Agententyp aufschlüsselt, dominieren traditionelle Suchmaschinen-Crawler immer noch (22,8 %), gefolgt von SEO-Crawlern (19,5 %) und KI-Such-Crawlern (12,5 %). KI-Datenscraper wie ClaudeBot und Amazonbot machen 11 % aus.

Die fünf wichtigsten Besucher:

1. bingbot – Suchmaschinen-Crawler (8,2 %)
2. Googlebot – Suchmaschinen-Crawler (7,8 %)
3. AhrefsBot – SEO-Crawler (6,4 %)
4. Known Agent DEV – Entwickler-Helfer (5,6 %)
5. ChatGPT-User – KI-Assistent (3,4 %)

Weitere bemerkenswerte Einträge sind ClaudeBot (KI-Datenscraper, 3,2 %) und meta-externalagent (KI-Datenscraper, 2,3 %).

Spoofing von KI-Bots für Massen-Sicherheitslücken-Scans

Über die Statistiken hinaus hebt die Website ein wachsendes Sicherheitsproblem hervor: Angreifer spoofen KI-Agenten wie ClaudeBot, um Massen-Sicherheitslücken-Scans durchzuführen. Indem sie ihren Traffic als legitimen KI-Scraper tarnen, können sie Websites auf Schwachstellen untersuchen, während sie unter dem Radar bleiben – viele Websites werden einen Bot, von dem sie denken, dass er nur Seiten für das Modelltraining abruft, wahrscheinlich nicht blockieren.

Dies ist eine praktische Erinnerung: robots.txt ist ein Vorschlag, keine Sicherheitsmaßnahme. Wenn Sie sich darauf verlassen, um Scraper fernzuhalten, sind Sie bereits exponiert. Die 98,5-prozentige Compliance-Rate gilt nur für ehrliche Bots.

Für wen das gedacht ist

Wenn Sie eine Website, API oder einen anderen öffentlich zugänglichen Dienst betreiben, hilft Ihnen diese Daten zu verstehen, was tatsächlich auf Ihre Infrastruktur trifft – und warum Sie Bot-Identitäten validieren müssen, anstatt ihren User-Agent-Strings zu vertrauen.