에이전틱 웹 인덱스: AI 봇 트래픽 통계가 대규모 스크래핑과 스푸핑을 보여준다

에이전틱 웹 인덱스: 새로운 AI 봇 트래픽 대시보드

Known Agents가 에이전틱 웹 인덱스를 발표했습니다. 이 대시보드는 5,000개 이상의 웹사이트에서 AI 에이전트, 크롤러, 스크래퍼 활동을 추적합니다. 데이터는 자사의 에이전트 분석 및 AI 채팅 추천 추적에서 비롯되었으며, 실제로 서버에 무엇이 도달하는지 구체적으로 보여줍니다.

주요 지표: 봇이 전체 트래픽의 35%

지난 90일 동안 인덱스는 다음을 보고합니다:

• 봇 vs. 인간 트래픽: 전체 방문의 35%가 봇에서 발생 — 이전 90일 대비 1% 감소.
• 에이전트화: 봇 트래픽의 29%가 AI 관련 — 12% 증가.
• AI 채팅 추천 볼륨: 인간 방문의 0.1%가 AI 채팅에서 발생 — 7% 감소.
• robots.txt 효과: 봇의 98.5%가 robots.txt 규칙을 따릅니다.

주요 에이전트 유형 및 방문자

에이전트 유형별로 트래픽을 분류하면 전통적인 검색 엔진 크롤러가 여전히 우세하며(22.8%), 그 다음으로 SEO 크롤러(19.5%)와 AI 검색 크롤러(12.5%)가 뒤를 잇습니다. ClaudeBot 및 Amazonbot과 같은 AI 데이터 스크래퍼는 11%를 차지합니다.

상위 5개 방문자:

1. bingbot — 검색 엔진 크롤러 (8.2%)
2. Googlebot — 검색 엔진 크롤러 (7.8%)
3. AhrefsBot — SEO 크롤러 (6.4%)
4. Known Agent DEV — 개발자 도우미 (5.6%)
5. ChatGPT-User — AI 어시스턴트 (3.4%)

기타 주목할 만한 항목으로는 ClaudeBot (AI 데이터 스크래퍼, 3.2%) 및 meta-externalagent (AI 데이터 스크래퍼, 2.3%)가 있습니다.

AI 봇을 사칭한 대규모 취약점 스캔

통계 외에도 사이트는 증가하는 보안 우려를 강조합니다: 공격자들이 ClaudeBot과 같은 AI 에이전트를 사칭하여 대규모 취약점 스캔을 수행합니다. 그들의 트래픽을 합법적인 AI 스크래퍼로 위장함으로써, 그들은 탐지를 피하면서 웹사이트의 약점을 조사할 수 있습니다 — 많은 사이트가 모델 훈련을 위해 페이지를 가져오는 봇이라고 생각하고 차단하지 않을 가능성이 높습니다.

이것은 실용적인 알림입니다: robots.txt는 제안이지 보안 조치가 아닙니다. 스크래퍼를 차단하기 위해 그것에 의존한다면, 이미 노출된 것입니다. 98.5%의 준수율은 정직한 봇에게만 적용됩니다.

누구를 위한 것인가

웹사이트, API 또는 공개 서비스를 운영한다면, 이 데이터는 인프라에 실제로 무엇이 도달하는지, 그리고 사용자 에이전트 문자열을 신뢰하는 대신 봇 신원을 검증해야 하는 이유를 이해하는 데 도움이 됩니다.