WebClaw: Servidor MCP de Código Aberto para Extração Web com Claude
WebClaw é um servidor MCP construído em Rust que adiciona capacidades de extração web ao Claude Desktop e Claude Code. Ele resolve o problema em que o web_fetch integrado do Claude é bloqueado na maioria dos sites reais, retornando erros 403 Forbidden, desafios do Cloudflare ou respostas vazias.
Solução Técnica
O servidor usa impressão digital TLS na camada HTTP para que os sites vejam uma impressão digital real do navegador Chrome em vez de um bot. Em testes com 10 sites populares, o web_fetch integrado do Claude falhou em todos os 10, enquanto o WebClaw extraiu conteúdo com sucesso de 9 dos 10 sites.
Recursos
scrape: Extrai conteúdo limpo de qualquer URLcrawl: Rastreamento recursivo de sitesextract: Extração de dados estruturados usando esquema JSON ou prompts em linguagem naturalsummarize: Resumos de páginasbrand: Extrai cores, fontes, logotipos de qualquer sitediff: Acompanha alterações de conteúdo- Ferramentas
map,batch,search,research
Desenvolvimento com Claude Code
O pipeline de extração foi implementado com Claude Code, incluindo:
- Algoritmo de pontuação baseado em densidade de texto, tags semânticas e penalidades de proporção de links
- Filtro de ruído que remove navegação, anúncios e banners de cookies sem falsos positivos em classes Tailwind
- Múltiplas rodadas de refinamento para casos extremos
Configuração e Uso
A configuração requer apenas um comando:
npx create-webclawA ferramenta detecta automaticamente o Claude Desktop e Claude Code e escreve a configuração. Nenhuma chave de API é necessária para 8 das 10 ferramentas, e tudo é executado localmente.
Benefícios de Desempenho
A saída é otimizada para a janela de contexto do Claude. Um artigo de notícia típico vai de 4.820 tokens (HTML bruto) para 1.590 tokens no formato LLM do WebClaw - uma redução de 67% mantendo o mesmo conteúdo.
WebClaw é gratuito e de código aberto sob a licença MIT, disponível em https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 See Also
Jake Benchmark v1: Teste de Desempenho de LLM Local para Agentes de IA OpenClaw
Um desenvolvedor testou 7 LLMs locais como agentes de IA com o OpenClaw usando 22 tarefas práticas, incluindo processamento de e-mails, agendamento de reuniões e detecção de phishing. Os resultados variaram de 59,4% para o Qwen 27B a 1,6% para o Nemotron 30B, com registros detalhados das conversas disponíveis.
Processo de Extração de Voz Personalizada para Código Claude com Modelo
Um desenvolvedor compartilha um processo de extração em três etapas para criar uma habilidade de voz personalizada para o Claude Code, resultando em um arquivo SKILL.md de 510 linhas com listas de proibições para LLM-ismos, regras anti-performativas e modos de voz específicos por formato. O modelo de código aberto funciona com qualquer idioma usando 10+ amostras de escrita.
AIDA: Plataforma de Código Aberto para Testes de Penetração Baseados em IA
AIDA é uma plataforma de código aberto que fornece a agentes de IA um ambiente completo de teste de penetração via conexão MCP a um contêiner Docker. A versão mais recente substitui o requisito de 40GB do Exegol por um contêiner específico de 1GB contendo ferramentas de segurança essenciais.
ModelFitAI: Implante Agentes de IA Sem Configuração de VPS, Desenvolvido com Claude Code
ModelFitAI é uma plataforma que permite que desenvolvedores implantem agentes de IA diretamente em sua infraestrutura, eliminando configuração de VPS, configuração do Docker e sessões SSH. A plataforma inteira foi construída usando Claude Code por um fundador solo.