Обновление AgentCrawl добавляет важные функции и улучшения для паука.
Последнее обновление AgentCrawl улучшает его функциональность как веб-скребка/обходчика на TypeScript, вводя несколько важных функций для разработчиков, использующих ИИ-агентов. Этот релиз сосредоточен на готовности к производству за счет интеграции правильности обходчика и вежливости, механизмов кэширования, возобновляемых обходов и улучшенных возможностей извлечения данных.
Ключевые детали
- Удаленные адаптеры инструментов: Обновление устраняет адаптеры инструментов для SDK агентов и Vercel AI SDK, позволяя пользователям самостоятельно определять свои инструменты.
- Обновленные библиотеки: Пакет теперь включает последнюю версию Zod для лучшей валидации данных.
- Правильность обходчика: Соблюдение robots.txt теперь опционально и поддерживает директивы Disallow/Allow и Crawl-delay. Также доступно опциональное заполнение карты сайта из
/sitemap.xml. - Нормализация URL: Улучшенная нормализация URL полноценно удаляет параметры отслеживания и может обрабатывать каноническую нормализацию.
- Опции ограничения: Обходчик поддерживает ограничение для каждого хоста с настраиваемыми
perHostConcurrencyиminDelayMs. - Кэширование: Опциональный диск HTTP кэш для статических загрузок реализует поддержку ETag и Last-Modified. Система кэширует после очистки и конверсии в markdown
ScrapedPageи может обрабатывать серверные ответы со статусом 304, обслуживая кэшированные тела. - Возобновляемые обходы: Новая опциональная функциональность сохранения состояния обхода сохраняет границу обхода, включая очередь, посещенные страницы, запланированные элементы, ошибки и максимальную глубину, что позволяет возобновлять обходы без повторного посещения страниц.
- Улучшения извлечения данных: Скребок теперь поддерживает извлечение структурированных метаданных, включая канонический URL, OpenGraph, Twitter карты и JSON-LD, хранящиеся в
metadata.structured. - Частичная обработка для агентов: Опциональная функциональность частичной обработки возвращает
page.chunks[]с приблизительным размером токена, путем заголовка и якорем цитирования, что полезно для циклов RAG/tool.
Для кого это
Это обновление особенно полезно для разработчиков, использующих ИИ-агентов, которым требуются эффективные и структурированные возможности веб-скрапинга.
📖 Читать источник: r/LocalLLaMA
👀 Смотрите также
alogin: Безопасный шлюз на основе Go для ИИ-агентов с участием человека в процессе
alogin — это основанный на Go шлюз безопасности с открытым исходным кодом, который обеспечивает безопасный канал между ИИ-агентами и инфраструктурой. Он включает встроенную поддержку сервера MCP для Claude Desktop, защитные механизмы с участием человека и зашифрованное хранилище учетных данных.
Разработчик создает плагин MCP для WordPress с возможностями чтения/записи и 28 функциями.
Разработчик создал плагин для WordPress, который регистрирует 28 возможностей MCP через WordPress Abilities API, обеспечивая полный доступ на чтение и запись для ИИ-агентов программирования. Плагин управляет контентом, проверяет качество и обеспечивает безопасность, автоматически конвертируя между Markdown и блоками Gutenberg.
Приложение Focusmo для macOS добавило локальный MCP-сервер для интеграции с Claude AI.
Focusmo, приложение для концентрации на macOS, теперь включает локальный сервер MCP, который позволяет ИИ Claude получать доступ к реальным данным о фокусе для еженедельных обзоров и планирования. Сервер работает локально на Mac без необходимости внешних серверов, сохраняя все данные на устройстве.
Губернатор: Плагин для Claude Code, сокращающий расход токенов за счет сжатия вывода, уменьшения контекста и фильтрации инструментов
Governor — это плагин для Claude Code, который уменьшает трату токенов и контекста за счет компактного профессионального вывода, сжатия файлов памяти, фильтрации вывода инструментов и защиты от дрейфа. Тесты показывают экономию 55,5% выходных токенов по сравнению с контролем.