AgentCrawl-Update fügt wichtige Crawler-Funktionen und -Verbesserungen hinzu.
Das neueste Update von AgentCrawl verbessert die Funktionalität als TypeScript-Scraper/Crawler und führt mehrere wichtige Funktionen für Entwickler ein, die KI-Agenten verwenden. Dieses Release konzentriert sich auf die Produktionsbereitschaft, indem die Korrektheit und Höflichkeit von Crawlern, Caching-Mechanismen, fortsetzbare Crawls und verbesserte Datenextraktionsfähigkeiten integriert werden.
Wichtige Details
- Entfernte Tool-Adapter: Das Update entfernt die Tool-Adapter für das Agents SDK und das Vercel AI SDK, sodass Benutzer ihre Tools unabhängig definieren können.
- Aktualisierte Bibliotheken: Das Paket enthält jetzt die neueste Version von Zod für eine bessere Datenvalidierung.
- Korrektheit des Crawlers: Die Einhaltung von robots.txt ist jetzt optional und unterstützt die Direktiven Disallow/Allow und Crawl-delay. Optionales Sitemap-Seeding aus
/sitemap.xmlist ebenfalls verfügbar. - URL-Normalisierung: Die verbesserte URL-Normalisierung entfernt umfassend Tracking-Parameter und kann die kanonische Normalisierung verarbeiten.
- Drosselungsoptionen: Der Crawler unterstützt die Drosselung pro Host mit konfigurierbarer
perHostConcurrencyundminDelayMs. - Caching: Ein optionaler Disk-HTTP-Cache für statische Abrufe implementiert ETag- und Last-Modified-Unterstützung. Das System cached die Nachbearbeitung und Markdown-Konvertierung von
ScrapedPageund kann Serverantworten mit dem Status 304 verarbeiten, indem es zwischengespeicherte Inhalte bereitstellt. - Fortsetzbare Crawls: Eine neue optionale crawlState-Persistenz speichert die Grenze des Crawls, einschließlich der Warteschlange, besuchter Seiten, geordneter Elemente, Fehler und maximaler Tiefe, was fortsetzbare Crawls ohne erneutes Besuchen von Seiten ermöglicht.
- Verbesserungen der Datenextraktion: Der Scraper unterstützt jetzt die strukturierte Extraktion von Metadaten, einschließlich kanonischer URL, OpenGraph, Twitter-Karten und JSON-LD, die in
metadata.structuredgespeichert werden. - Chunking für Agenten: Die optionale Chunking-Funktionalität gibt
page.chunks[]mit einer ungefähren Token-Größe, Überschriftspfad und Zitationsanker zurück, was für RAG/Tool-Schleifen vorteilhaft ist.
Für wen es gedacht ist
Dieses Update ist besonders vorteilhaft für Entwickler, die KI-Agenten nutzen und effiziente sowie strukturierte Web-Scraping-Fähigkeiten benötigen.
📖 Den vollständigen Source lesen: r/LocalLLaMA
👀 Siehe auch
Zillow-Full: Eine OpenClaw-Fähigkeit, die manuelle Immobilienrecherche in eine automatisierte Deal-Pipeline verwandelte
Ein Entwickler baute 'zillow-full' auf OpenClaw, um Zestimates, Steuerhistorie, Preishistorie und Vergleiche pro Immobilie abzurufen. Mit einem nächtlichen Cron-Job, der Angebote anhand von Deal-Kriterien bewertete, stiegen die Großhandelsgeschäfte von 2 auf 11 pro Monat.
Xmloxide: Eine Rust-Neumplementierung von libxml2 erstellt mit KI-Agenten-Unterstützung
Xmloxide ist eine reine Rust-Neuimplementierung der nicht mehr gepflegten libxml2-Bibliothek, die mit Claude Code erstellt wurde, um Kompatibilitätstests zu bestehen. Es bietet speichersichere XML/HTML-Parsing mit einer C-API für direkten Austausch.
Vigil: Ein kryptografisches ID-System für OpenClaw-Agenten zur Verhinderung von Blockierungen
Ein Entwickler, der OpenClaw-Agenten betreibt, hat festgestellt, dass anonymer Agentenverkehr zunehmend von Websites blockiert wird, und schlägt Vigil vor – ein Anmeldesystem, das Agenten kryptografische IDs gibt, um Reputation aufzubauen und wahllose Blockierungen zu vermeiden.
Jan-Code-4B: Ein schlankes, code-optimiertes Modell für die lokale Entwicklung
Das Jan-Team veröffentlichte Jan-Code-4B, ein 4B-Parameter-Modell für Code, das auf Jan-v3-4B-base-instruct basiert. Es ist als direkter Ersatz für Haiku in Claude Code konzipiert und bietet verbesserte Unterstützung beim Programmieren, während es lokal läuft.