WebClaw : Serveur MCP Open-Source pour l'Extraction Web avec Claude
WebClaw est un serveur MCP développé en Rust qui ajoute des capacités d'extraction web à Claude Desktop et Claude Code. Il résout le problème où le web_fetch intégré de Claude est bloqué sur la plupart des sites web réels, renvoyant des erreurs 403 Forbidden, des défis Cloudflare ou des réponses vides.
Solution technique
Le serveur utilise l'empreinte TLS au niveau de la couche HTTP pour que les sites web voient une empreinte de navigateur Chrome réelle plutôt qu'un bot. Lors des tests sur 10 sites populaires, le web_fetch intégré de Claude a échoué sur les 10, tandis que WebClaw a réussi à extraire le contenu de 9 sites sur 10.
Fonctionnalités
scrape: Extraire un contenu propre de n'importe quelle URLcrawl: Exploration récursive de sitesextract: Extraction de données structurées à l'aide de schémas JSON ou d'invites en langage naturelsummarize: Résumés de pagesbrand: Extraire les couleurs, polices et logos de n'importe quel sitediff: Suivre les modifications de contenu- Outils
map,batch,search,research
Développement avec Claude Code
Le pipeline d'extraction a été implémenté avec Claude Code, incluant :
- Un algorithme de scoring basé sur la densité de texte, les balises sémantiques et les pénalités de ratio de liens
- Un filtre de bruit qui supprime la navigation, les publicités et les bannières de cookies sans faux positifs sur les classes Tailwind
- Plusieurs tours de raffinement pour les cas limites
Installation et utilisation
L'installation nécessite une seule commande :
npx create-webclawL'outil détecte automatiquement Claude Desktop et Claude Code et écrit la configuration. Aucune clé API n'est nécessaire pour 8 des 10 outils, et tout s'exécute localement.
Avantages en performance
La sortie est optimisée pour la fenêtre de contexte de Claude. Un article de presse typique passe de 4 820 tokens (HTML brut) à 1 590 tokens dans le format LLM de WebClaw - une réduction de 67 % tout en conservant le même contenu.
WebClaw est gratuit et open source sous licence MIT, disponible sur https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 See Also
Utiliser /probe pour détecter les hallucinations de l'IA avant d'écrire du code
Un développeur partage une technique appelée /probe qui force les plans générés par l'IA à émettre des affirmations numérotées avec des valeurs attendues, puis sonde le système réel pour détecter les écarts. La méthode a révélé quatre erreurs factuelles dans la description par Claude de son propre format JSONL, qui auraient causé des bugs dans le code.
Docent : Un assistant IA pour l'analyse d'articles scientifiques construit avec Claude Code
Un développeur a créé Docent, un assistant IA qui lit des articles téléchargés, les présente, répond aux questions et évalue la compréhension en utilisant Claude Code. Le projet est disponible sur GitHub sous licence MIT avec une démo sur Vercel.
Octopoda MCP Server ajoute une mémoire persistante, une détection de boucles et des pistes d'audit à Claude Code
Un développeur a créé Octopoda, un serveur MCP qui s'intègre à Claude Code pour fournir une mémoire persistante, une détection de boucles, des pistes d'audit et des espaces de connaissances partagés pour les agents IA. Le système utilise PostgreSQL avec pgvector pour la recherche sémantique, FastAPI et un tableau de bord React.
Godogen : Compétences de Code Claude pour la Génération Complète de Jeux Godot
Godogen est un pipeline open-source qui utilise les compétences de Claude Code pour générer des projets Godot 4 complets et jouables à partir de prompts textuels. Il gère la conception de l'architecture, la génération d'actifs 2D/3D, l'écriture de GDScript et les tests visuels QA, en s'attaquant à des goulots d'étranglement spécifiques comme la pénurie de données d'entraînement pour le GDScript et les problèmes d'état entre le temps de compilation et le temps d'exécution.