WebClaw: Claude와 함께하는 웹 추출용 오픈소스 MCP 서버
WebClaw는 Rust로 구축된 MCP 서버로, Claude Desktop과 Claude Code에 웹 추출 기능을 추가합니다. 대부분의 실제 웹사이트에서 Claude의 내장 web_fetch가 차단되어 403 Forbidden 오류, Cloudflare 챌린지 또는 빈 응답을 반환하는 문제를 해결합니다.
기술적 해결책
이 서버는 HTTP 계층에서 TLS 핑거프린팅을 사용하여 웹사이트가 봇 대신 실제 Chrome 브라우저 핑거프린트를 인식하도록 합니다. 10개 인기 사이트 테스트에서 Claude의 내장 web_fetch는 모두 실패했지만, WebClaw는 10개 중 9개 사이트에서 콘텐츠를 성공적으로 추출했습니다.
기능
scrape: 모든 URL에서 깔끔한 콘텐츠 추출crawl: 재귀적 사이트 크롤링extract: JSON 스키마 또는 자연어 프롬프트를 사용한 구조화된 데이터 추출summarize: 페이지 요약brand: 모든 사이트에서 색상, 폰트, 로고 추출diff: 콘텐츠 변경 추적map,batch,search,research도구
Claude Code 개발
추출 파이프라인은 Claude Code로 구현되었으며, 다음을 포함합니다:
- 텍스트 밀도, 의미론적 태그 및 링크 비율 패널티를 기반으로 한 점수 알고리즘
- Tailwind 클래스에서 오탐 없이 네비게이션, 광고, 쿠키 배너를 제거하는 노이즈 필터
- 예외 상황을 위한 다중 라운드 정제
설정 및 사용법
설정에는 한 가지 명령어만 필요합니다:
npx create-webclaw이 도구는 Claude Desktop과 Claude Code를 자동으로 감지하고 구성을 작성합니다. 10개 도구 중 8개에는 API 키가 필요하지 않으며, 모든 것이 로컬에서 실행됩니다.
성능 이점
출력은 Claude의 컨텍스트 창에 최적화되어 있습니다. 일반적인 뉴스 기사는 4,820 토큰(원시 HTML)에서 WebClaw의 LLM 형식으로 1,590 토큰으로 줄어들어 동일한 콘텐츠를 유지하면서 67% 감소합니다.
WebClaw는 MIT 라이선스 하에 무료 오픈소스이며, https://github.com/0xMassi/webclaw에서 이용 가능합니다.
📖 Read the full source: r/ClaudeAI
👀 See Also
APEX 테스트 벤치마크 결과: 실제 코딩 작업에서의 Qwen 3.5 성능
APEX 테스트 벤치마크 결과는 Qwen 3.5 모델들의 70개 실제 GitHub 코딩 작업 성능을 보여주며, 397B 버전은 마스터 수준 작업에서 1194 ELO로 떨어지는 반면 GLM-4.7 양자화 버전이 1572 ELO로 로컬 모델 중 선두를 달리고 있습니다.
Mengram AI: Claude 코드 세션을 위한 자동 메모리 도구
Mengram AI는 인지 프로필을 로드하고, 관련된 과거 컨텍스트를 프롬프트에 주입하며, 새로운 지식을 저장함으로써 Claude Code 세션 간에 컨텍스트를 자동으로 유지합니다. 실패를 기반으로 진화하는 의미적, 에피소드적, 절차적 메모리를 저장합니다.
프로그래밍적 스캐폴딩 없이 11개의 멀티 에이전트 소프트웨어 빌드에서 얻은 실용적 결과
11개의 자율 다중 에이전트 빌드 분석 결과, 범위 강제는 프롬프트(0/20 성공)가 아닌 기계적 방식(20/20 성공)으로 작동하며, 오케스트레이션 비용은 메모리 재수집(~95% 입력 비용)이 지배적이고, 작업자 모델 성능이 9.8배 처리량 격차를 만듭니다.
클로드 데스크톱용 텍스트 어드벤처 게임 엔진 스킬
텍스트 어드벤처 게임 엔진이 Claude Desktop 스킬로 완전히 내부에서 실행됩니다. 서버, 앱, 실행 코드 없이도 작동합니다. 완전한 RPG 메커니즘, 3D 주사위 렌더링, 19개의 확장 모듈, 휴대용 저장 파일을 포함합니다.