WebClaw: Open-Source MCP-Server für Web-Extraktion mit Claude
WebClaw ist ein in Rust entwickelter MCP-Server, der Claude Desktop und Claude Code Web-Extraktionsfähigkeiten hinzufügt. Er löst das Problem, bei dem Claudes integrierter web_fetch auf den meisten echten Websites blockiert wird und 403 Forbidden-Fehler, Cloudflare-Herausforderungen oder leere Antworten zurückgibt.
Technische Lösung
Der Server verwendet TLS-Fingerprinting auf der HTTP-Ebene, sodass Websites einen echten Chrome-Browser-Fingerabdruck anstelle eines Bots erkennen. In Tests mit 10 beliebten Websites scheiterte Claudes integrierter web_fetch bei allen 10, während WebClaw erfolgreich Inhalte von 9 der 10 Websites extrahieren konnte.
Funktionen
scrape: Saubere Inhalte von jeder URL extrahierencrawl: Rekursives Crawlen von Websitesextract: Strukturierte Datenextraktion mit JSON-Schema oder natürlichen Sprachaufforderungensummarize: Seitenzusammenfassungenbrand: Farben, Schriftarten, Logos von jeder Website extrahierendiff: Inhaltsänderungen verfolgenmap,batch,search,researchTools
Claude Code Entwicklung
Die Extraktionspipeline wurde mit Claude Code implementiert, einschließlich:
- Bewertungsalgorithmus basierend auf Textdichte, semantischen Tags und Linkverhältnis-Strafen
- Rauschfilter, der Navigation, Werbung und Cookie-Banner ohne falsch-positive Ergebnisse bei Tailwind-Klassen entfernt
- Mehrere Optimierungsrunden für Sonderfälle
Einrichtung und Verwendung
Die Einrichtung erfordert nur einen Befehl:
npx create-webclawDas Tool erkennt Claude Desktop und Claude Code automatisch und schreibt die Konfiguration. Für 8 der 10 Tools wird kein API-Schlüssel benötigt, und alles läuft lokal.
Leistungsvorteile
Die Ausgabe ist für Claudes Kontextfenster optimiert. Ein typischer Nachrichtenartikel reduziert sich von 4.820 Tokens (rohes HTML) auf 1.590 Tokens in WebClaws LLM-Format – eine Reduktion um 67 % bei gleichem Inhalt.
WebClaw ist kostenlos und quelloffen unter der MIT-Lizenz verfügbar unter https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Multimodell-Code-Review-Workflow als wiederverwendbare Fähigkeit verpackt
Eine wiederverwendbare Fähigkeit, die mehrere KI-Modelle für PR- und Nicht-PR-Code-Reviews orchestriert, getestet mit OpenClaw und Modellen wie GPT-5.5, DeepSeek V4 Pro, Kimi K2.6, Qwen 3.6 Plus und GLM-5.1.
Mehr-Agenten-Inhalts-Pipeline für Claude-Code mit Qualitätssicherungsschleusen
Ein Entwickler hat eine Sechs-Agenten-Inhalts-Pipeline für Claude Code erstellt, die Recherche, Schreiben, Bearbeitung und SEO-Aufgaben mit Qualitätsprüfpunkten zwischen den Stufen trennt. Das System stoppt zur manuellen Freigabe vor der Veröffentlichung und ermöglicht das erneute Ausführen einzelner Agenten.
Apple-Silicon-macOS-VMs: 11–16× schnellere LLM-Inferenz mit Metal-Capability-Shim
Cuas prozessbezogener Metal-Fähigkeits-Shim entsperrt neuere Kernel in macOS-VMs und beschleunigt llama.cpp um bis zu 16× auf Apple Silicon. Open-Source-Forschungsrelease.
Jentic Mini: Selbst gehostete API- und Aktionsausführungsschicht für OpenClaw
Jentic Mini ist eine selbst gehostete API- und Aktionsausführungsschicht, die zwischen KI-Agenten und externen APIs sitzt, Anmeldedaten in einem verschlüsselten Tresor speichert und bereichsbezogene Toolkits mit individuell widerrufbaren Schlüsseln bereitstellt. Beim Hinzufügen von Anmeldedaten importiert es automatisch über 10.000 OpenAPI-Spezifikationen und Arazzo-Workflow-Quellen.