WebClaw : Serveur MCP Open-Source pour l'Extraction Web avec Claude
WebClaw est un serveur MCP développé en Rust qui ajoute des capacités d'extraction web à Claude Desktop et Claude Code. Il résout le problème où le web_fetch intégré de Claude est bloqué sur la plupart des sites web réels, renvoyant des erreurs 403 Forbidden, des défis Cloudflare ou des réponses vides.
Solution technique
Le serveur utilise l'empreinte TLS au niveau de la couche HTTP pour que les sites web voient une empreinte de navigateur Chrome réelle plutôt qu'un bot. Lors des tests sur 10 sites populaires, le web_fetch intégré de Claude a échoué sur les 10, tandis que WebClaw a réussi à extraire le contenu de 9 sites sur 10.
Fonctionnalités
scrape: Extraire un contenu propre de n'importe quelle URLcrawl: Exploration récursive de sitesextract: Extraction de données structurées à l'aide de schémas JSON ou d'invites en langage naturelsummarize: Résumés de pagesbrand: Extraire les couleurs, polices et logos de n'importe quel sitediff: Suivre les modifications de contenu- Outils
map,batch,search,research
Développement avec Claude Code
Le pipeline d'extraction a été implémenté avec Claude Code, incluant :
- Un algorithme de scoring basé sur la densité de texte, les balises sémantiques et les pénalités de ratio de liens
- Un filtre de bruit qui supprime la navigation, les publicités et les bannières de cookies sans faux positifs sur les classes Tailwind
- Plusieurs tours de raffinement pour les cas limites
Installation et utilisation
L'installation nécessite une seule commande :
npx create-webclawL'outil détecte automatiquement Claude Desktop et Claude Code et écrit la configuration. Aucune clé API n'est nécessaire pour 8 des 10 outils, et tout s'exécute localement.
Avantages en performance
La sortie est optimisée pour la fenêtre de contexte de Claude. Un article de presse typique passe de 4 820 tokens (HTML brut) à 1 590 tokens dans le format LLM de WebClaw - une réduction de 67 % tout en conservant le même contenu.
WebClaw est gratuit et open source sous licence MIT, disponible sur https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 See Also
L'Approche de Cursor pour une Recherche Rapide d'Expressions Régulières pour les Agents IA
Cursor développe une recherche d'expressions régulières indexée pour résoudre les problèmes de performance dans les monorepos de grande taille où ripgrep peut prendre plus de 15 secondes, en utilisant des index inversés avec des n-grammes basés sur des recherches de 1993 par Zobel, Moffat et Sacks-Davis.
Serveur MCP connecte Claude au marché d'agent à agent
Un développeur a créé un serveur MCP qui expose cinq outils et deux ressources, permettant à Claude de rechercher, invoquer et payer des capacités auprès d'autres agents d'IA sur un marché. Le serveur inclut un stockage persistant dans un coffre-fort d'agent et a été largement implémenté en utilisant Claude Code.
SuperContext : Un Cadre de Mémoire Persistante pour les Agents d'Intelligence Artificielle de Codage
SuperContext est un framework open-source qui donne aux outils de codage IA comme Claude une mémoire persistante grâce à des fichiers structurés et ciblés, plutôt que de gros documents d'instructions. Il inclut un prompt exécutable qui construit le système en environ 10 minutes sans configuration manuelle.
La compétence OpenClaw ajoute la génération d'images par IA avec prise en charge locale de ComfyUI et des invites organisées.
Une nouvelle compétence OpenClaw offre des capacités de génération d'images par IA directement dans le terminal, avec plus de 1 300 invites sélectionnées, une intégration locale de ComfyUI et des flux de travail d'amélioration des invites.