WebClaw: Servidor MCP de Código Aberto para Extração Web com Claude
WebClaw é um servidor MCP construído em Rust que adiciona capacidades de extração web ao Claude Desktop e Claude Code. Ele resolve o problema em que o web_fetch integrado do Claude é bloqueado na maioria dos sites reais, retornando erros 403 Forbidden, desafios do Cloudflare ou respostas vazias.
Solução Técnica
O servidor usa impressão digital TLS na camada HTTP para que os sites vejam uma impressão digital real do navegador Chrome em vez de um bot. Em testes com 10 sites populares, o web_fetch integrado do Claude falhou em todos os 10, enquanto o WebClaw extraiu conteúdo com sucesso de 9 dos 10 sites.
Recursos
scrape: Extrai conteúdo limpo de qualquer URLcrawl: Rastreamento recursivo de sitesextract: Extração de dados estruturados usando esquema JSON ou prompts em linguagem naturalsummarize: Resumos de páginasbrand: Extrai cores, fontes, logotipos de qualquer sitediff: Acompanha alterações de conteúdo- Ferramentas
map,batch,search,research
Desenvolvimento com Claude Code
O pipeline de extração foi implementado com Claude Code, incluindo:
- Algoritmo de pontuação baseado em densidade de texto, tags semânticas e penalidades de proporção de links
- Filtro de ruído que remove navegação, anúncios e banners de cookies sem falsos positivos em classes Tailwind
- Múltiplas rodadas de refinamento para casos extremos
Configuração e Uso
A configuração requer apenas um comando:
npx create-webclawA ferramenta detecta automaticamente o Claude Desktop e Claude Code e escreve a configuração. Nenhuma chave de API é necessária para 8 das 10 ferramentas, e tudo é executado localmente.
Benefícios de Desempenho
A saída é otimizada para a janela de contexto do Claude. Um artigo de notícia típico vai de 4.820 tokens (HTML bruto) para 1.590 tokens no formato LLM do WebClaw - uma redução de 67% mantendo o mesmo conteúdo.
WebClaw é gratuito e de código aberto sob a licença MIT, disponível em https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 See Also
O Token Enhancer reduz o uso de tokens em páginas da web para agentes de IA.
Um desenvolvedor descobriu que o HTML bruto de capturas da web consome tokens excessivos no contexto de agentes de IA, com páginas do Yahoo Finance usando 704 mil tokens. Usar o Token Enhancer como servidor MCP reduziu isso para 2,6 mil tokens.
Semble: Um Servidor MCP Local para Claude Code com Redução de 98% de Tokens
Semble é um servidor MCP de código aberto para Claude Code que substitui fluxos de trabalho com grep+read, usando embeddings, BM25 e reranking para reduzir o uso de tokens em ~98% enquanto indexa repositórios em ~250ms.
Servidor MCP do Gmail de código aberto adiciona suporte a múltiplas contas e acesso de escrita
Um servidor MCP de código aberto permite que o Claude AI se conecte a várias contas do Gmail com capacidades completas de leitura e escrita, incluindo funcionalidades de arquivamento, rotulagem e cancelamento automático de inscrições. Ele suporta a sintaxe de pesquisa do Gmail e pode ser implantado no Railway em 5 minutos ou hospedado localmente.
Kit de Ferramentas de Viagem Hacking: Habilidades em IA e Servidores MCP para Busca de Pontos e Milhas
Um repositório do GitHub fornece 7 habilidades em markdown e 6 servidores MCP que ensinam o Claude Code e o OpenCode a pesquisar voos com milhas em mais de 25 programas de fidelidade, comparar preços em dinheiro, consultar saldos de programas de fidelidade e encontrar hotéis e balsas. A configuração requer clonar o repositório e executar o setup.sh.