WebClaw: Servidor MCP de Código Aberto para Extração Web com Claude
WebClaw é um servidor MCP construído em Rust que adiciona capacidades de extração web ao Claude Desktop e Claude Code. Ele resolve o problema em que o web_fetch integrado do Claude é bloqueado na maioria dos sites reais, retornando erros 403 Forbidden, desafios do Cloudflare ou respostas vazias.
Solução Técnica
O servidor usa impressão digital TLS na camada HTTP para que os sites vejam uma impressão digital real do navegador Chrome em vez de um bot. Em testes com 10 sites populares, o web_fetch integrado do Claude falhou em todos os 10, enquanto o WebClaw extraiu conteúdo com sucesso de 9 dos 10 sites.
Recursos
scrape: Extrai conteúdo limpo de qualquer URLcrawl: Rastreamento recursivo de sitesextract: Extração de dados estruturados usando esquema JSON ou prompts em linguagem naturalsummarize: Resumos de páginasbrand: Extrai cores, fontes, logotipos de qualquer sitediff: Acompanha alterações de conteúdo- Ferramentas
map,batch,search,research
Desenvolvimento com Claude Code
O pipeline de extração foi implementado com Claude Code, incluindo:
- Algoritmo de pontuação baseado em densidade de texto, tags semânticas e penalidades de proporção de links
- Filtro de ruído que remove navegação, anúncios e banners de cookies sem falsos positivos em classes Tailwind
- Múltiplas rodadas de refinamento para casos extremos
Configuração e Uso
A configuração requer apenas um comando:
npx create-webclawA ferramenta detecta automaticamente o Claude Desktop e Claude Code e escreve a configuração. Nenhuma chave de API é necessária para 8 das 10 ferramentas, e tudo é executado localmente.
Benefícios de Desempenho
A saída é otimizada para a janela de contexto do Claude. Um artigo de notícia típico vai de 4.820 tokens (HTML bruto) para 1.590 tokens no formato LLM do WebClaw - uma redução de 67% mantendo o mesmo conteúdo.
WebClaw é gratuito e de código aberto sob a licença MIT, disponível em https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 See Also
Painel de Silos: Interface web de código aberto para gerenciar agentes OpenClaw
O Silos Dashboard é uma interface web com licença MIT para gerenciar agentes OpenClaw, substituindo arquivos de configuração e CLI por uma única interface. Oferece gerenciamento de agentes, chat ao vivo com streaming, instalação de habilidades, quadros de tarefas, integrações de canais e análises.
Shieldbot: Plugin de Scanner de Segurança de Código Aberto para Claude Code
Shieldbot é um scanner de segurança de código aberto que funciona como um plugin dentro do Claude Code, integrando seis scanners incluindo Semgrep com mais de 5.000 regras, Bandit, Ruff, detect-secrets, pip-audit e npm audit. Ele deduplica descobertas e gera relatórios priorizados com pontuações de risco e correções de código.
Servidor MCP Indexa Bases de Código em Grafo de Conhecimento para Redução de 10x em Tokens
Um novo servidor MCP chamado codebase-memory-mcp analisa bases de código em um grafo de conhecimento persistente usando tree-sitter, reduzindo o uso de tokens em pelo menos 10x para consultas estruturais. Testado em 35 repositórios do mundo real, ele substitui a exploração arquivo por arquivo por consultas em grafo.
Cérebro da Equipe: Um Plugin de Memória Compartilhada para o Claude Code Que Armazena o Conhecimento da Equipe no Git
Team Brain é um plugin do Claude Code que armazena o conhecimento da equipe em uma pasta .team-brain/ dentro do seu repositório. Ele gera automaticamente um arquivo BRAIN.md limitado a 180 linhas para otimizar a precisão das instruções do Claude e funciona entre diferentes ferramentas criando arquivos .cursorrules e AGENTS.md.