WebClaw : Serveur MCP Open-Source pour l'Extraction Web avec Claude
WebClaw est un serveur MCP développé en Rust qui ajoute des capacités d'extraction web à Claude Desktop et Claude Code. Il résout le problème où le web_fetch intégré de Claude est bloqué sur la plupart des sites web réels, renvoyant des erreurs 403 Forbidden, des défis Cloudflare ou des réponses vides.
Solution technique
Le serveur utilise l'empreinte TLS au niveau de la couche HTTP pour que les sites web voient une empreinte de navigateur Chrome réelle plutôt qu'un bot. Lors des tests sur 10 sites populaires, le web_fetch intégré de Claude a échoué sur les 10, tandis que WebClaw a réussi à extraire le contenu de 9 sites sur 10.
Fonctionnalités
scrape: Extraire un contenu propre de n'importe quelle URLcrawl: Exploration récursive de sitesextract: Extraction de données structurées à l'aide de schémas JSON ou d'invites en langage naturelsummarize: Résumés de pagesbrand: Extraire les couleurs, polices et logos de n'importe quel sitediff: Suivre les modifications de contenu- Outils
map,batch,search,research
Développement avec Claude Code
Le pipeline d'extraction a été implémenté avec Claude Code, incluant :
- Un algorithme de scoring basé sur la densité de texte, les balises sémantiques et les pénalités de ratio de liens
- Un filtre de bruit qui supprime la navigation, les publicités et les bannières de cookies sans faux positifs sur les classes Tailwind
- Plusieurs tours de raffinement pour les cas limites
Installation et utilisation
L'installation nécessite une seule commande :
npx create-webclawL'outil détecte automatiquement Claude Desktop et Claude Code et écrit la configuration. Aucune clé API n'est nécessaire pour 8 des 10 outils, et tout s'exécute localement.
Avantages en performance
La sortie est optimisée pour la fenêtre de contexte de Claude. Un article de presse typique passe de 4 820 tokens (HTML brut) à 1 590 tokens dans le format LLM de WebClaw - une réduction de 67 % tout en conservant le même contenu.
WebClaw est gratuit et open source sous licence MIT, disponible sur https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 See Also
Google Research présente TurboQuant pour la compression de modèles d'IA.
Google Research a présenté TurboQuant, un algorithme de compression qui réduit la taille des modèles d'IA sans perte de précision. Il traite la surcharge mémoire dans la quantification vectorielle et améliore les performances du cache clé-valeur.
Framework open-source pour la mémoire persistante d'agents IA avec stockage local et récupération basée sur des graphes
Un développeur a créé un framework open-source pour la mémoire persistante des agents IA qui stocke les données localement sous forme de fichiers Markdown, utilise des liens wiki comme arêtes de graphe et implémente Git pour le contrôle de version. Le système propose une récupération à quatre signaux et un oubli basé sur la science cognitive ACT-R.
Le développeur d'OpenClaw recherche des cas d'usage percutants après 900 essais utilisateurs.
Le créateur d'OpenClaw rapporte que si les utilisateurs essaient des fonctionnalités comme les interfaces Telegram, les intégrations de calendrier et les flux de travail automatisés, la plupart n'utilisent pas l'outil à long terme. Le défi consiste à trouver des flux de travail d'utilisation quotidienne qui deviennent essentiels plutôt qu'expérimentaux.
MCP Memory Gateway : Un serveur MCP pour la mémoire persistante dans Claude Code
Un développeur a construit un serveur MCP appelé MCP Memory Gateway en utilisant Claude Code comme principal outil de développement. Il fournit à Claude Code une mémoire persistante entre les sessions grâce à la capture de retours, des règles de prévention et l'injection de contexte.