La mise à jour d'AgentCrawl ajoute des fonctionnalités et améliorations essentielles pour le crawler.

La dernière mise à jour de AgentCrawl améliore ses fonctionnalités en tant que scraper/crawler TypeScript, introduisant plusieurs caractéristiques importantes pour les développeurs utilisant des agents IA. Cette version se concentre sur la préparation à la production en intégrant la correction et la politesse du crawler, les mécanismes de cache, les crawls reprises et des capacités d'extraction de données améliorées.

Détails clés

• Suppression des adaptateurs d'outils : La mise à jour élimine les adaptateurs d'outils pour le SDK agents et le SDK Vercel AI, permettant aux utilisateurs de définir leurs outils indépendamment.
• Bibliothèques mises à jour : Le package inclut désormais la dernière version de Zod pour une meilleure validation des données.
• Correction du crawler : La conformité robots.txt est désormais optionnelle et prend en charge les directives Disallow/Allow et Crawl-delay. L'ensemencement optionnel à partir de /sitemap.xml est également disponible.
• Normalisation des URL : La normalisation des URL améliorée supprime de manière exhaustive les paramètres de suivi et peut gérer la normalisation canonique.
• Options de limitation : Le crawler prend en charge la limitation par hôte avec perHostConcurrency et minDelayMs configurables.
• Cache : Un cache HTTP disque optionnel pour les récupérations statiques implémente la prise en charge d'ETag et Last-Modified. Le système met en cache après nettoyage et conversion markdown de ScrapedPage et peut gérer les réponses serveur avec statut 304 en servant les corps mis en cache.
• Crawls reprises : Une nouvelle persistance optionnelle de l'état de crawl sauvegarde la frontière du crawl, y compris la file d'attente, les pages visitées, les éléments en file d'attente, les erreurs et la profondeur maximale, ce qui permet des crawls reprises sans revisiter les pages.
• Améliorations de l'extraction de données : Le scraper prend désormais en charge l'extraction de métadonnées structurées, y compris l'URL canonique, OpenGraph, les cartes Twitter et JSON-LD, conservées dans metadata.structured.
• Découpage pour les agents : La fonctionnalité optionnelle de découpage renvoie page.chunks[] avec une taille approximative de tokens, un chemin de titre et une ancre de citation, ce qui est bénéfique pour les boucles RAG/outils.

Pour qui c'est

Cette mise à jour est particulièrement bénéfique pour les développeurs utilisant des agents IA nécessitant des capacités de scraping web efficaces et structurées.