エージェントクロールアップデートにより、重要なクローラー機能と拡張機能が追加されました

AgentCrawlの最新アップデートにより、TypeScriptスクレイパー/クローラーとしての機能が強化され、AIエージェントを使用する開発者向けにいくつかの重要な機能が導入されました。このリリースでは、クローラーの正確性と配慮、キャッシュメカニズム、再開可能なクロール、強化されたデータ抽出機能を統合することで、本番環境対応に焦点を当てています。

主な詳細

• ツールアダプターの削除: エージェントSDKとVercel AI SDKのツールアダプターが削除され、ユーザーが独自にツールを定義できるようになりました。
• ライブラリの更新: パッケージには、より優れたデータ検証のためにZodの最新バージョンが含まれています。
• クローラーの正確性: robots.txtの遵守はオプトインになり、Disallow/AllowおよびCrawl-delayディレクティブをサポートします。また、/sitemap.xmlからのオプトインサイトマップシーディングも利用可能です。
• URL正規化: 改善されたURL正規化により、トラッキングパラメータを包括的に除去し、カノニカル正規化を処理できます。
• スロットリングオプション: クローラーは、設定可能なperHostConcurrencyとminDelayMsによるホストごとのスロットリングをサポートします。
• キャッシュ: 静的フェッチ用のオプトインディスクHTTPキャッシュは、ETagとLast-Modifiedをサポートします。システムはScrapedPageのクリーニング後およびマークダウン変換をキャッシュし、ステータス304のサーバーレスポンスをキャッシュされたボディで処理できます。
• 再開可能なクロール: 新しいオプトインクロール状態の永続化により、キュー、訪問済みページ、キューされたアイテム、エラー、最大深度を含むクロールのフロンティアが保存され、ページを再訪問せずにクロールを再開できます。
• データ抽出の改善: スクレイパーは、カノニカルURL、OpenGraph、Twitterカード、JSON-LDを含む構造化メタデータ抽出をサポートし、metadata.structuredに保持されます。
• エージェント向けチャンキング: オプトインチャンキング機能は、おおよそのトークンサイズ、見出しパス、引用アンカーを含むpage.chunks[]を返し、RAG/ツールループに有益です。

対象ユーザー

このアップデートは、効率的で構造化されたウェブスクレイピング機能を必要とするAIエージェントを活用する開発者に特に有益です。