Обновление AgentCrawl добавляет важные функции и улучшения для паука.
Последнее обновление AgentCrawl улучшает его функциональность как веб-скребка/обходчика на TypeScript, вводя несколько важных функций для разработчиков, использующих ИИ-агентов. Этот релиз сосредоточен на готовности к производству за счет интеграции правильности обходчика и вежливости, механизмов кэширования, возобновляемых обходов и улучшенных возможностей извлечения данных.
Ключевые детали
- Удаленные адаптеры инструментов: Обновление устраняет адаптеры инструментов для SDK агентов и Vercel AI SDK, позволяя пользователям самостоятельно определять свои инструменты.
- Обновленные библиотеки: Пакет теперь включает последнюю версию Zod для лучшей валидации данных.
- Правильность обходчика: Соблюдение robots.txt теперь опционально и поддерживает директивы Disallow/Allow и Crawl-delay. Также доступно опциональное заполнение карты сайта из
/sitemap.xml. - Нормализация URL: Улучшенная нормализация URL полноценно удаляет параметры отслеживания и может обрабатывать каноническую нормализацию.
- Опции ограничения: Обходчик поддерживает ограничение для каждого хоста с настраиваемыми
perHostConcurrencyиminDelayMs. - Кэширование: Опциональный диск HTTP кэш для статических загрузок реализует поддержку ETag и Last-Modified. Система кэширует после очистки и конверсии в markdown
ScrapedPageи может обрабатывать серверные ответы со статусом 304, обслуживая кэшированные тела. - Возобновляемые обходы: Новая опциональная функциональность сохранения состояния обхода сохраняет границу обхода, включая очередь, посещенные страницы, запланированные элементы, ошибки и максимальную глубину, что позволяет возобновлять обходы без повторного посещения страниц.
- Улучшения извлечения данных: Скребок теперь поддерживает извлечение структурированных метаданных, включая канонический URL, OpenGraph, Twitter карты и JSON-LD, хранящиеся в
metadata.structured. - Частичная обработка для агентов: Опциональная функциональность частичной обработки возвращает
page.chunks[]с приблизительным размером токена, путем заголовка и якорем цитирования, что полезно для циклов RAG/tool.
Для кого это
Это обновление особенно полезно для разработчиков, использующих ИИ-агентов, которым требуются эффективные и структурированные возможности веб-скрапинга.
📖 Читать источник: r/LocalLLaMA
👀 Смотрите также
Офлайн-веб-поиск: Локальная альтернатива Google Search для ИИ-агентов
Разработчик создал offline-web-search для решения проблемы слабых возможностей офлайн-поиска в AI-агентах, создав замену, которая имитирует веб-инструменты Claude с рейтингом BM25, индексацией SQLite FTS5 и поддержкой архивов ZIM и пользовательских краулеров.
Сервер MCP подключает ИИ-агентов к существующим сессиям Chrome с использованием файлов cookie и аутентификации.
@playwright-repl/mcp — это MCP-сервер, который подключает ИИ-агентов к вашему существующему браузеру Chrome через расширение Dramaturg, предоставляя доступ к вашей реальной сессии браузера, включая куки и аутентификацию. Он поддерживает полный JavaScript Playwright, утверждения (assertions) и работает с Claude Desktop, Claude Code, Cursor или любым MCP-клиентом.
Навык "Текстовое приключение Клода" версии 1.1.0 добавляет сюжетные арки и улучшенных NPC.
Обновление навыка текстового приключения Claude v1.1.0 представляет кампании, где прогресс персонажа сохраняется между приключениями, NPC со скрытыми характеристиками и уровнями, а также опциональные визуальные/аудиомодули. Скачайте text-adventure.zip из релизов GitHub для использования с Claude Desktop или claude.ai.
В документации Google Workspace CLI добавлено руководство по настройке OpenClaw.
Новая документация gws (Google Workspace CLI) от Google явно упоминает настройку OpenClaw по имени в специальном разделе, посвященном навыкам ИИ-агентов. Это следует за недавними обсуждениями о том, что Google пересматривает блокировки аккаунтов для ИИ-агентов.