La mise à jour d'AgentCrawl ajoute des fonctionnalités et améliorations essentielles pour le crawler.
La dernière mise à jour de AgentCrawl améliore ses fonctionnalités en tant que scraper/crawler TypeScript, introduisant plusieurs caractéristiques importantes pour les développeurs utilisant des agents IA. Cette version se concentre sur la préparation à la production en intégrant la correction et la politesse du crawler, les mécanismes de cache, les crawls reprises et des capacités d'extraction de données améliorées.
Détails clés
- Suppression des adaptateurs d'outils : La mise à jour élimine les adaptateurs d'outils pour le SDK agents et le SDK Vercel AI, permettant aux utilisateurs de définir leurs outils indépendamment.
- Bibliothèques mises à jour : Le package inclut désormais la dernière version de Zod pour une meilleure validation des données.
- Correction du crawler : La conformité robots.txt est désormais optionnelle et prend en charge les directives Disallow/Allow et Crawl-delay. L'ensemencement optionnel à partir de
/sitemap.xmlest également disponible. - Normalisation des URL : La normalisation des URL améliorée supprime de manière exhaustive les paramètres de suivi et peut gérer la normalisation canonique.
- Options de limitation : Le crawler prend en charge la limitation par hôte avec
perHostConcurrencyetminDelayMsconfigurables. - Cache : Un cache HTTP disque optionnel pour les récupérations statiques implémente la prise en charge d'ETag et Last-Modified. Le système met en cache après nettoyage et conversion markdown de
ScrapedPageet peut gérer les réponses serveur avec statut 304 en servant les corps mis en cache. - Crawls reprises : Une nouvelle persistance optionnelle de l'état de crawl sauvegarde la frontière du crawl, y compris la file d'attente, les pages visitées, les éléments en file d'attente, les erreurs et la profondeur maximale, ce qui permet des crawls reprises sans revisiter les pages.
- Améliorations de l'extraction de données : Le scraper prend désormais en charge l'extraction de métadonnées structurées, y compris l'URL canonique, OpenGraph, les cartes Twitter et JSON-LD, conservées dans
metadata.structured. - Découpage pour les agents : La fonctionnalité optionnelle de découpage renvoie
page.chunks[]avec une taille approximative de tokens, un chemin de titre et une ancre de citation, ce qui est bénéfique pour les boucles RAG/outils.
Pour qui c'est
Cette mise à jour est particulièrement bénéfique pour les développeurs utilisant des agents IA nécessitant des capacités de scraping web efficaces et structurées.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
SuperHQ : Exécutez des agents de codage IA dans des sandboxes microVM isolés.
SuperHQ est une application open source en Rust/GPUI qui exécute des agents IA de codage (Claude Code, OpenAI Codex, Pi) dans des sandboxes microVM isolées. Chaque agent reçoit une VM Debian complète, monte les répertoires du projet en lecture seule et ne voit jamais les clés API de l'hôte — elles sont injectées via un proxy de passerelle d'authentification.
ToolLoop : Framework d'Agent Open-Source pour Outils de Style Claude avec N'importe Quel Modèle
ToolLoop est un framework Python open-source avec 11 outils pour les opérations sur fichiers, la recherche de code, l'accès au shell et des sous-agents qui fonctionne avec n'importe quel LLM via LiteLLM. Le framework de 2 700 lignes permet de changer de modèle en cours de conversation avec un contexte partagé.
Strale.io propose une API gratuite de validation d'IBAN et d'e-mail pour les agents IA, sans inscription.
Strale.io propose une API gratuite avec cinq fonctionnalités incluant la validation d'IBAN, la validation d'email, la recherche DNS, la conversion d'URL en markdown et la réparation de JSON. Aucune inscription ni clé API n'est requise, et elle inclut un serveur MCP pour l'intégration avec Claude ou Cursor.
Vibeyard ajoute un tableau Kanban pour gérer plusieurs sessions Claude Code
Un IDE open-source appelé Vibeyard inclut désormais un tableau Kanban qui permet de lancer des sessions d'agent Claude Code directement depuis les cartes. Les cartes se déplacent automatiquement vers la colonne Terminé lorsque l'agent a fini.