Скраплинг интегрирован как основа для скрапинга OpenClaw.
Scrapling, библиотека для скрапинга с открытым исходным кодом, была интегрирована в OpenClaw в качестве основного механизма для сбора данных. Это решает распространённые проблемы, с которыми сталкиваются ИИ-агенты при работе с реальными веб-данными: поломка скраперов, защита Cloudflare и селекторы, которые перестают работать после обновления сайтов.
Ключевые особенности и возможности
В отличие от большинства инструментов для скрапинга, которые полагаются на жёстко заданные селекторы, перестающие работать при редизайне сайтов, Scrapling изучает структуру страницы и автоматически адаптируется к изменениям без необходимости переписывать код.
- Работает в 774 раза быстрее, чем BeautifulSoup с Lxml
- Работает как с HTTP, так и с полной автоматизацией браузера
- Поддерживает CSS, XPath, текстовые и регулярные селекторы
- Асинхронные сессии для параллельного скрапинга
- Включает CLI, чтобы пользователи без навыков программирования могли использовать его без написания кода
Начало работы
Установка проста:
pip install "scrapling[ai]"Библиотека полностью открыта под лицензией BSD-3 и набирает популярность на GitHub.
📖 Read the full source: r/openclaw
👀 Смотрите также
Хеддл: Принудительное обеспечение доверия и ведение журнала аудита для подключений Claude Desktop MCP
Heddle — это инструмент с открытым исходным кодом, который добавляет уровни доверия, контроль доступа и журнал аудита к MCP-подключениям Claude Desktop, позволяя безопасно управлять несколькими сервисами через единый интерфейс с шестью стартовыми пакетами.
Пи-кодирующий агент с Qwen 35B Q2: Использование файловой системы как внешней памяти и обеспечение контекстных ограничений
Пользователь Reddit создал стек на основе Pi coding agent с Qwen 35B Q2_K_XL квантом, который применяет ограничения: отклоняет правки длиннее 100 строк, ограничивает блоки размышлений 2000 символов и отслеживает контекст на уровнях 65%/80% — трактуя файловую систему как память модели, а не окно контекста.
Calmkeep: Внешний слой непрерывности для противодействия дрейфу LLM в длинных сессиях
Calmkeep — это внешний слой непрерывности, предназначенный для противодействия дрейфу LLM в длинных сессиях. В тесте на 25 шагов при сборке бэкенда он показал 85% целостности против 60% у стандартного Claude, а в юридической сессии — 100% против 50%.
Перепроектированный системный промпт Claude для AI-агентов UI без "слэпа"
Открытый системный промпт, заменяющий шаблонные выводы SaaS дисциплинированной дизайн-философией: WCAG, настоящий CSS Grid, токен-системы и 14 процедурных навыков.