WebClaw: Claude와 함께하는 웹 추출용 오픈소스 MCP 서버

WebClaw는 Rust로 구축된 MCP 서버로, Claude Desktop과 Claude Code에 웹 추출 기능을 추가합니다. 대부분의 실제 웹사이트에서 Claude의 내장 web_fetch가 차단되어 403 Forbidden 오류, Cloudflare 챌린지 또는 빈 응답을 반환하는 문제를 해결합니다.

기술적 해결책

이 서버는 HTTP 계층에서 TLS 핑거프린팅을 사용하여 웹사이트가 봇 대신 실제 Chrome 브라우저 핑거프린트를 인식하도록 합니다. 10개 인기 사이트 테스트에서 Claude의 내장 web_fetch는 모두 실패했지만, WebClaw는 10개 중 9개 사이트에서 콘텐츠를 성공적으로 추출했습니다.

기능

• scrape: 모든 URL에서 깔끔한 콘텐츠 추출
• crawl: 재귀적 사이트 크롤링
• extract: JSON 스키마 또는 자연어 프롬프트를 사용한 구조화된 데이터 추출
• summarize: 페이지 요약
• brand: 모든 사이트에서 색상, 폰트, 로고 추출
• diff: 콘텐츠 변경 추적
• map, batch, search, research 도구

Claude Code 개발

추출 파이프라인은 Claude Code로 구현되었으며, 다음을 포함합니다:

• 텍스트 밀도, 의미론적 태그 및 링크 비율 패널티를 기반으로 한 점수 알고리즘
• Tailwind 클래스에서 오탐 없이 네비게이션, 광고, 쿠키 배너를 제거하는 노이즈 필터
• 예외 상황을 위한 다중 라운드 정제

설정 및 사용법

설정에는 한 가지 명령어만 필요합니다:

npx create-webclaw

이 도구는 Claude Desktop과 Claude Code를 자동으로 감지하고 구성을 작성합니다. 10개 도구 중 8개에는 API 키가 필요하지 않으며, 모든 것이 로컬에서 실행됩니다.

성능 이점

출력은 Claude의 컨텍스트 창에 최적화되어 있습니다. 일반적인 뉴스 기사는 4,820 토큰(원시 HTML)에서 WebClaw의 LLM 형식으로 1,590 토큰으로 줄어들어 동일한 콘텐츠를 유지하면서 67% 감소합니다.

WebClaw는 MIT 라이선스 하에 무료 오픈소스이며, https://github.com/0xMassi/webclaw에서 이용 가능합니다.