WebClaw: Open-Source MCP-Server für Web-Extraktion mit Claude
WebClaw ist ein in Rust entwickelter MCP-Server, der Claude Desktop und Claude Code Web-Extraktionsfähigkeiten hinzufügt. Er löst das Problem, bei dem Claudes integrierter web_fetch auf den meisten echten Websites blockiert wird und 403 Forbidden-Fehler, Cloudflare-Herausforderungen oder leere Antworten zurückgibt.
Technische Lösung
Der Server verwendet TLS-Fingerprinting auf der HTTP-Ebene, sodass Websites einen echten Chrome-Browser-Fingerabdruck anstelle eines Bots erkennen. In Tests mit 10 beliebten Websites scheiterte Claudes integrierter web_fetch bei allen 10, während WebClaw erfolgreich Inhalte von 9 der 10 Websites extrahieren konnte.
Funktionen
scrape: Saubere Inhalte von jeder URL extrahierencrawl: Rekursives Crawlen von Websitesextract: Strukturierte Datenextraktion mit JSON-Schema oder natürlichen Sprachaufforderungensummarize: Seitenzusammenfassungenbrand: Farben, Schriftarten, Logos von jeder Website extrahierendiff: Inhaltsänderungen verfolgenmap,batch,search,researchTools
Claude Code Entwicklung
Die Extraktionspipeline wurde mit Claude Code implementiert, einschließlich:
- Bewertungsalgorithmus basierend auf Textdichte, semantischen Tags und Linkverhältnis-Strafen
- Rauschfilter, der Navigation, Werbung und Cookie-Banner ohne falsch-positive Ergebnisse bei Tailwind-Klassen entfernt
- Mehrere Optimierungsrunden für Sonderfälle
Einrichtung und Verwendung
Die Einrichtung erfordert nur einen Befehl:
npx create-webclawDas Tool erkennt Claude Desktop und Claude Code automatisch und schreibt die Konfiguration. Für 8 der 10 Tools wird kein API-Schlüssel benötigt, und alles läuft lokal.
Leistungsvorteile
Die Ausgabe ist für Claudes Kontextfenster optimiert. Ein typischer Nachrichtenartikel reduziert sich von 4.820 Tokens (rohes HTML) auf 1.590 Tokens in WebClaws LLM-Format – eine Reduktion um 67 % bei gleichem Inhalt.
WebClaw ist kostenlos und quelloffen unter der MIT-Lizenz verfügbar unter https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Watchtower: Ein lokaler Proxy zur Überwachung des Claude Code API-Datenverkehrs
Watchtower ist ein kostenloses, Open-Source-Tool, das als lokaler HTTP-Proxy und Echtzeit-Web-Dashboard fungiert, um den gesamten API-Verkehr zwischen Claude Code (oder Codex CLI) und deren APIs abzufangen und anzuzeigen. Es zeigt Anfragen, SSE-Streams, Tool-Definitionen, System-Prompts, Token-Verbrauch und Rate-Limits.
Semble: Ein lokaler MCP-Server für Claude Code mit 98% Token-Reduktion
Semble ist ein Open-Source-MCP-Server für Claude Code, der grep+read-Workflows ersetzt und Embeddings, BM25 sowie Reranking nutzt, um den Tokenverbrauch um ~98% zu senken, während Repos in ~250ms indiziert werden.
Open-Source 31-Agenten-Produktentwicklungssystem für Claude mit über 12.000 Codezeilen Inhalt
Ein Open-Source-Claude-Skill bietet 31 spezialisierte KI-Agenten und 20 strategische Frameworks, die alle Unternehmensabteilungen von Produkt bis Compliance abdecken. Das MIT-lizenzierte System umfasst 62 Dateien mit über 12.000 Zeilen umsetzbarer Inhalte, länderspezifische Compliance für mehrere Regionen und ein intelligentes Ladesystem, das Anfragen effizient weiterleitet.
Verwalten mehrerer KI-Agenten-Aufgaben mit Kanban-Boards
Ein Entwickler teilt seine Erfahrung mit dem Betrieb mehrerer Claude-KI-Agenten in Terminal-Registerkarten und identifiziert drei zentrale Arbeitsablauf-Herausforderungen: mangelnde Fortschrittssichtbarkeit, Kontextverlust beim Wechsel zwischen Aufgaben und Unterbrechungen durch Ratenbegrenzungen. Seine Lösung besteht darin, KI-Aufgaben wie Arbeitselemente auf einem Kanban-Board zu behandeln.