WebClaw: Servidor MCP de Código Abierto para Extracción Web con Claude
WebClaw es un servidor MCP construido en Rust que añade capacidades de extracción web a Claude Desktop y Claude Code. Resuelve el problema donde el web_fetch incorporado de Claude es bloqueado en la mayoría de los sitios web reales, devolviendo errores 403 Prohibido, desafíos de Cloudflare o respuestas vacías.
Solución Técnica
El servidor utiliza huellas digitales TLS en la capa HTTP para que los sitios web vean una huella digital real del navegador Chrome en lugar de un bot. En pruebas realizadas en 10 sitios populares, el web_fetch incorporado de Claude falló en los 10, mientras que WebClaw extrajo contenido exitosamente de 9 de los 10 sitios.
Características
scrape: Extraer contenido limpio de cualquier URLcrawl: Rastreo recursivo de sitiosextract: Extracción de datos estructurados usando esquemas JSON o indicaciones en lenguaje naturalsummarize: Resúmenes de páginasbrand: Extraer colores, fuentes, logotipos de cualquier sitiodiff: Seguimiento de cambios en el contenido- Herramientas
map,batch,search,research
Desarrollo con Claude Code
La canalización de extracción fue implementada con Claude Code, incluyendo:
- Algoritmo de puntuación basado en densidad de texto, etiquetas semánticas y penalizaciones de proporción de enlaces
- Filtro de ruido que elimina navegación, anuncios y banners de cookies sin falsos positivos en clases de Tailwind
- Múltiples rondas de refinamiento para casos límite
Configuración y Uso
La configuración requiere un solo comando:
npx create-webclawLa herramienta detecta automáticamente Claude Desktop y Claude Code y escribe la configuración. No se necesita clave API para 8 de las 10 herramientas, y todo se ejecuta localmente.
Beneficios de Rendimiento
La salida está optimizada para la ventana de contexto de Claude. Un artículo de noticias típico pasa de 4.820 tokens (HTML crudo) a 1.590 tokens en el formato LLM de WebClaw, una reducción del 67% manteniendo el mismo contenido.
WebClaw es gratuito y de código abierto bajo la licencia MIT, disponible en https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Ver también
Claude Code ahora admite más de 240 modelos a través de la puerta de enlace NVIDIA NIM, incluido Nemotron-3 120B para codificación agentiva
Claude Code puede cambiar en medio de la sesión a más de 240 modelos NVIDIA NIM mediante el comando /model. La variante de pensamiento Nemotron-3 Super 120B muestra resultados sólidos para refactorización de múltiples archivos y tareas de agente.
AlphaCreek: Un servidor MCP que divide los documentos SEC para reducir el uso de tokens en un 85%
AlphaCreek es un conector MCP gratuito para Claude que reduce el consumo de tokens en ~85% al trabajar con documentos SEC, devolviendo primero una tabla de contenido y luego obteniendo solo las secciones que el agente solicita.
Orkestra: Capa de Enrutamiento de LLM Consciente de Costos para OpenClaw Reduce los Costos de API en un 60-80%
Orkestra es una capa de enrutamiento modular que se sitúa frente a las llamadas LLM en OpenClaw, utilizando clasificación semántica para dirigir las solicitudes a niveles de modelo económicos, equilibrados o premium. Este enfoque redujo los costos de API en un 60-80% sin reescribir las solicitudes ni usar reglas complejas.
ClearSpec: Un Generador de Especificaciones para Reducir Alucinaciones en el Código de Claude
ClearSpec es una herramienta que genera especificaciones estructuradas a partir de descripciones en inglés sencillo, conectándose a repositorios de GitHub para hacer referencia a rutas de archivos reales y dependencias, luego utiliza esas especificaciones como prompts para Claude Code para proporcionar un mejor contexto.