Обновление AgentCrawl добавляет важные функции и улучшения для паука.
Последнее обновление AgentCrawl улучшает его функциональность как веб-скребка/обходчика на TypeScript, вводя несколько важных функций для разработчиков, использующих ИИ-агентов. Этот релиз сосредоточен на готовности к производству за счет интеграции правильности обходчика и вежливости, механизмов кэширования, возобновляемых обходов и улучшенных возможностей извлечения данных.
Ключевые детали
- Удаленные адаптеры инструментов: Обновление устраняет адаптеры инструментов для SDK агентов и Vercel AI SDK, позволяя пользователям самостоятельно определять свои инструменты.
- Обновленные библиотеки: Пакет теперь включает последнюю версию Zod для лучшей валидации данных.
- Правильность обходчика: Соблюдение robots.txt теперь опционально и поддерживает директивы Disallow/Allow и Crawl-delay. Также доступно опциональное заполнение карты сайта из
/sitemap.xml. - Нормализация URL: Улучшенная нормализация URL полноценно удаляет параметры отслеживания и может обрабатывать каноническую нормализацию.
- Опции ограничения: Обходчик поддерживает ограничение для каждого хоста с настраиваемыми
perHostConcurrencyиminDelayMs. - Кэширование: Опциональный диск HTTP кэш для статических загрузок реализует поддержку ETag и Last-Modified. Система кэширует после очистки и конверсии в markdown
ScrapedPageи может обрабатывать серверные ответы со статусом 304, обслуживая кэшированные тела. - Возобновляемые обходы: Новая опциональная функциональность сохранения состояния обхода сохраняет границу обхода, включая очередь, посещенные страницы, запланированные элементы, ошибки и максимальную глубину, что позволяет возобновлять обходы без повторного посещения страниц.
- Улучшения извлечения данных: Скребок теперь поддерживает извлечение структурированных метаданных, включая канонический URL, OpenGraph, Twitter карты и JSON-LD, хранящиеся в
metadata.structured. - Частичная обработка для агентов: Опциональная функциональность частичной обработки возвращает
page.chunks[]с приблизительным размером токена, путем заголовка и якорем цитирования, что полезно для циклов RAG/tool.
Для кого это
Это обновление особенно полезно для разработчиков, использующих ИИ-агентов, которым требуются эффективные и структурированные возможности веб-скрапинга.
📖 Читать источник: r/LocalLLaMA
👀 Смотрите также
Тестирование показывает, что контекстный движок снижает затраты на ИИ-агентов для написания кода в 3 раза на платформе SWE-bench.
Тестирование 4 кодирующих агентов с использованием Claude Opus 4.5 на SWE-bench Verified показало, что контекстный движок достиг 73% успешных решений при стоимости $0.67 за задачу, в то время как другие агенты стоили до $1.98 за задачу при аналогичной или более низкой производительности.
AgentPeek: Открытая панель управления для мониторинга команд агентов Claude Code
AgentPeek — это локальная панель мониторинга, которая интегрируется с Claude Code, обеспечивая видимость команд агентов, отображая иерархии оркестрации, трассировку выполнения, затраты на токены и операции с файлами. Для установки требуется клонировать репозиторий GitHub и выполнить pipx install.
Открытый мост IDE Claude соединяет Dispatch, десктопное приложение и Claude Code
Claude-ide-bridge — это инструмент с открытым исходным кодом под лицензией MIT, который соединяет Claude Code с вашей IDE, предоставляя доступ к LSP, отладчику, терминалам, git и GitHub через 124 инструмента. Он обеспечивает рабочий процесс, в котором задачи, отправленные через Dispatch с телефона, обрабатываются настольным приложением Claude, которое использует Claude Code для написания кода и запуска тестов, взаимодействуя с IDE.
Бесплатный оптимизатор сессий Claude: оценщик токенов, компрессор промптов и планировщик сессий
Разработчик создал бесплатный инструмент без регистрации для управления лимитами использования Claude с тремя функциями: оценщик токенов для предварительного просмотра потребления промптов, компрессор промптов, сокращающий промпты на 40-60% за счёт удаления лишних фраз, и планировщик сессий, группирующий задачи для минимизации перезагрузки контекста.