WebClaw: Servidor MCP de Código Abierto para Extracción Web con Claude
WebClaw es un servidor MCP construido en Rust que añade capacidades de extracción web a Claude Desktop y Claude Code. Resuelve el problema donde el web_fetch incorporado de Claude es bloqueado en la mayoría de los sitios web reales, devolviendo errores 403 Prohibido, desafíos de Cloudflare o respuestas vacías.
Solución Técnica
El servidor utiliza huellas digitales TLS en la capa HTTP para que los sitios web vean una huella digital real del navegador Chrome en lugar de un bot. En pruebas realizadas en 10 sitios populares, el web_fetch incorporado de Claude falló en los 10, mientras que WebClaw extrajo contenido exitosamente de 9 de los 10 sitios.
Características
scrape: Extraer contenido limpio de cualquier URLcrawl: Rastreo recursivo de sitiosextract: Extracción de datos estructurados usando esquemas JSON o indicaciones en lenguaje naturalsummarize: Resúmenes de páginasbrand: Extraer colores, fuentes, logotipos de cualquier sitiodiff: Seguimiento de cambios en el contenido- Herramientas
map,batch,search,research
Desarrollo con Claude Code
La canalización de extracción fue implementada con Claude Code, incluyendo:
- Algoritmo de puntuación basado en densidad de texto, etiquetas semánticas y penalizaciones de proporción de enlaces
- Filtro de ruido que elimina navegación, anuncios y banners de cookies sin falsos positivos en clases de Tailwind
- Múltiples rondas de refinamiento para casos límite
Configuración y Uso
La configuración requiere un solo comando:
npx create-webclawLa herramienta detecta automáticamente Claude Desktop y Claude Code y escribe la configuración. No se necesita clave API para 8 de las 10 herramientas, y todo se ejecuta localmente.
Beneficios de Rendimiento
La salida está optimizada para la ventana de contexto de Claude. Un artículo de noticias típico pasa de 4.820 tokens (HTML crudo) a 1.590 tokens en el formato LLM de WebClaw, una reducción del 67% manteniendo el mismo contenido.
WebClaw es gratuito y de código abierto bajo la licencia MIT, disponible en https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Ver también
La bifurcación vllm-mlx añade llamadas a herramientas y caché de prompts para agentes de IA de codificación local.
Un desarrollador ha modificado vllm-mlx para corregir problemas de llamadas a herramientas y agregar caché de prompts, reduciendo el TTFT de 28s a 0.3s para OpenClaw en Apple Silicon. El fork soporta Qwen3-Coder-Next a 65 tok/s en M3 Ultra con llamadas a funciones funcionales.
El Panel de Control de SwarmClaw Agrega Capa de Orquestación a OpenClaw
SwarmClaw es un panel de control autohospedado que envuelve OpenClaw, proporcionando despliegue y gestión de múltiples instancias con controles de puerta de enlace, reparación de configuración, sincronización de historial remoto y aprobación de ejecución en vivo. Soporta complementos de OpenClaw y archivos SKILL.md, además de conectarse a otros 14 proveedores de IA.
Ouroboros 0.26.0-beta combina Claude y Codex mediante un servidor MCP.
Ouroboros 0.26.0-beta presenta un sistema que ejecuta Claude y Codex simultáneamente, asignando a Claude la tarea de aclarar la intención del usuario y a Codex la ejecución de tareas bien definidas mediante una arquitectura de servidor MCP.
Modelos Qwen Locales Logran Automatización de Navegadores con Planificación Paso a Paso y DOM Compacto
Un desarrollador descubrió que los modelos de lenguaje locales pequeños como Qwen 8B y 4B logran automatizar navegadores mediante planificación paso a paso en lugar de planes de múltiples pasos predefinidos, combinado con una representación semántica compacta del DOM que reduce el uso de tokens de 50-100K+ a ~15K para flujos completos.