WebClaw: Open-Source MCP-Server für Web-Extraktion mit Claude
WebClaw ist ein in Rust entwickelter MCP-Server, der Claude Desktop und Claude Code Web-Extraktionsfähigkeiten hinzufügt. Er löst das Problem, bei dem Claudes integrierter web_fetch auf den meisten echten Websites blockiert wird und 403 Forbidden-Fehler, Cloudflare-Herausforderungen oder leere Antworten zurückgibt.
Technische Lösung
Der Server verwendet TLS-Fingerprinting auf der HTTP-Ebene, sodass Websites einen echten Chrome-Browser-Fingerabdruck anstelle eines Bots erkennen. In Tests mit 10 beliebten Websites scheiterte Claudes integrierter web_fetch bei allen 10, während WebClaw erfolgreich Inhalte von 9 der 10 Websites extrahieren konnte.
Funktionen
scrape: Saubere Inhalte von jeder URL extrahierencrawl: Rekursives Crawlen von Websitesextract: Strukturierte Datenextraktion mit JSON-Schema oder natürlichen Sprachaufforderungensummarize: Seitenzusammenfassungenbrand: Farben, Schriftarten, Logos von jeder Website extrahierendiff: Inhaltsänderungen verfolgenmap,batch,search,researchTools
Claude Code Entwicklung
Die Extraktionspipeline wurde mit Claude Code implementiert, einschließlich:
- Bewertungsalgorithmus basierend auf Textdichte, semantischen Tags und Linkverhältnis-Strafen
- Rauschfilter, der Navigation, Werbung und Cookie-Banner ohne falsch-positive Ergebnisse bei Tailwind-Klassen entfernt
- Mehrere Optimierungsrunden für Sonderfälle
Einrichtung und Verwendung
Die Einrichtung erfordert nur einen Befehl:
npx create-webclawDas Tool erkennt Claude Desktop und Claude Code automatisch und schreibt die Konfiguration. Für 8 der 10 Tools wird kein API-Schlüssel benötigt, und alles läuft lokal.
Leistungsvorteile
Die Ausgabe ist für Claudes Kontextfenster optimiert. Ein typischer Nachrichtenartikel reduziert sich von 4.820 Tokens (rohes HTML) auf 1.590 Tokens in WebClaws LLM-Format – eine Reduktion um 67 % bei gleichem Inhalt.
WebClaw ist kostenlos und quelloffen unter der MIT-Lizenz verfügbar unter https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
PromptFlow Voice: Hindi sprechen, strukturierte Claude-Code-Aufforderungen erhalten – erstellt mit Claude Code
Ein Entwickler nutzte Claude Code und Codex, um PromptFlow Voice zu entwickeln – eine Desktop-App, die gesprochenes Hindi in strukturierte Entwickler-Prompts für Claude Code oder versandfertige E-Mails für Gmail umwandelt. Die Demo zeigt eine Hindi-Sprachanfrage, die einen englischen Claude Code-Prompt zur Socket-Wiederverbindungslogik mit exponentiellem Backoff erzeugt.
"Erstellen eines lokalen Open-Source-AI-Arbeitsbereichs mit Rust und Tauri"
Entdecken Sie einen vollständig lokalen, Open-Source-AI-Arbeitsbereich, der mit Rust, Tauri und sqlite-vec erstellt wurde, ohne ein Python-Backend.
CLI-Tools mit KI-Agenten-Kompatibilität: Ansatz über ein Skills-Verzeichnis
Ein Reddit-Nutzer teilt eine Methode, um CLI-Tools mit KI-Code-Agenten wie Claude Code kompatibel zu machen, indem SKILL.md-Dateien erstellt werden, die den Agenten Installation, Authentifizierung und Nutzung beibringen. Der Ansatz behandelt häufige Probleme wie interaktive Eingabeaufforderungen, JSON-Ausgabe und Authentifizierungsmethoden.
OpenRouter Modellpreise und Intelligenz-pro-Dollar-Analyse
Ein Reddit-Nutzer hat die OpenRouter-API-Preise für 16 KI-Modelle zusammengestellt und Intelligenz-pro-Dollar-Werte berechnet, wobei MiMo-V2-Flash mit 0,09 $/M Token als bester Wert identifiziert wurde und GPT-5.4 mit 2,50 $/M Token als intelligentestes Modell.