WebClaw: Servidor MCP de Código Abierto para Extracción Web con Claude
WebClaw es un servidor MCP construido en Rust que añade capacidades de extracción web a Claude Desktop y Claude Code. Resuelve el problema donde el web_fetch incorporado de Claude es bloqueado en la mayoría de los sitios web reales, devolviendo errores 403 Prohibido, desafíos de Cloudflare o respuestas vacías.
Solución Técnica
El servidor utiliza huellas digitales TLS en la capa HTTP para que los sitios web vean una huella digital real del navegador Chrome en lugar de un bot. En pruebas realizadas en 10 sitios populares, el web_fetch incorporado de Claude falló en los 10, mientras que WebClaw extrajo contenido exitosamente de 9 de los 10 sitios.
Características
scrape: Extraer contenido limpio de cualquier URLcrawl: Rastreo recursivo de sitiosextract: Extracción de datos estructurados usando esquemas JSON o indicaciones en lenguaje naturalsummarize: Resúmenes de páginasbrand: Extraer colores, fuentes, logotipos de cualquier sitiodiff: Seguimiento de cambios en el contenido- Herramientas
map,batch,search,research
Desarrollo con Claude Code
La canalización de extracción fue implementada con Claude Code, incluyendo:
- Algoritmo de puntuación basado en densidad de texto, etiquetas semánticas y penalizaciones de proporción de enlaces
- Filtro de ruido que elimina navegación, anuncios y banners de cookies sin falsos positivos en clases de Tailwind
- Múltiples rondas de refinamiento para casos límite
Configuración y Uso
La configuración requiere un solo comando:
npx create-webclawLa herramienta detecta automáticamente Claude Desktop y Claude Code y escribe la configuración. No se necesita clave API para 8 de las 10 herramientas, y todo se ejecuta localmente.
Beneficios de Rendimiento
La salida está optimizada para la ventana de contexto de Claude. Un artículo de noticias típico pasa de 4.820 tokens (HTML crudo) a 1.590 tokens en el formato LLM de WebClaw, una reducción del 67% manteniendo el mismo contenido.
WebClaw es gratuito y de código abierto bajo la licencia MIT, disponible en https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Ver también
Memora v0.2.25 Servidor MCP: Escrituras 5 veces más rápidas en la Base de Datos D1
Memora v0.2.25, un servidor MCP para la memoria persistente de Claude, logra escrituras 5 veces más rápidas en Cloudflare D1, con memory_create reducido de más de 10s a ~1.8s y memory_update de más de 10s a ~1.1s por llamada.
Autoencoders de Lenguaje Natural: Convirtiendo Representaciones Internas de Claude en Texto
Transformer Circuits Thread publica Natural Language Autoencoders que decodifican las activaciones internas de Claude en texto legible. Repositorio de GitHub y demo interactiva disponibles.
Títulos de artículos de Pokémon Showdown: Agentes de IA creados con APIs de LLM gratuitas y llamadas a herramientas
Un sistema que usa Llama 3, Qwen, Gemma a través de niveles gratuitos de API para jugar de forma autónoma batallas de Pokémon Showdown con llamadas a herramientas estructuradas, compatible con modos humano vs IA e IA vs IA.
adamsreview: Un complemento de revisión de PR de múltiples etapas para Claude Code con agentes paralelos y bucle de corrección automática
adamsreview es un plugin para Claude Code que ejecuta revisiones de PR más profundas y de múltiples etapas utilizando subagentes paralelos, pasos de validación, estado JSON persistente y una revisión en conjunto opcional mediante Codex CLI y comentarios de bots en PR.