Скраплинг интегрирован как основа для скрапинга OpenClaw.
Scrapling, библиотека для скрапинга с открытым исходным кодом, была интегрирована в OpenClaw в качестве основного механизма для сбора данных. Это решает распространённые проблемы, с которыми сталкиваются ИИ-агенты при работе с реальными веб-данными: поломка скраперов, защита Cloudflare и селекторы, которые перестают работать после обновления сайтов.
Ключевые особенности и возможности
В отличие от большинства инструментов для скрапинга, которые полагаются на жёстко заданные селекторы, перестающие работать при редизайне сайтов, Scrapling изучает структуру страницы и автоматически адаптируется к изменениям без необходимости переписывать код.
- Работает в 774 раза быстрее, чем BeautifulSoup с Lxml
- Работает как с HTTP, так и с полной автоматизацией браузера
- Поддерживает CSS, XPath, текстовые и регулярные селекторы
- Асинхронные сессии для параллельного скрапинга
- Включает CLI, чтобы пользователи без навыков программирования могли использовать его без написания кода
Начало работы
Установка проста:
pip install "scrapling[ai]"Библиотека полностью открыта под лицензией BSD-3 и набирает популярность на GitHub.
📖 Read the full source: r/openclaw
👀 Смотрите также
Открытые инструменты Claude Code для автоматизированного охоты за баунти-багами
Три репозитория с открытым исходным кодом автоматизируют процесс поиска уязвимостей с помощью Claude Code. Инструменты выполняют разведку, сканирование на уязвимости web2/web3 и генерируют готовые к отправке отчёты.
Автооптимизация: Плагин Claude Code для автономной оптимизации производительности
Разработчик создал auto-optimize — плагин для Claude Code, который автономно запускает циклы профилирование → планирование → тестирование для оптимизации производительности кода. В одном из тестов он добился ускорения хэш-таблицы на 27% во всех сценариях тестирования примерно за 3 часа.
Зора: Автономный ИИ-агент с безопасностью по умолчанию и локальной памятью
Zora — это ИИ-агент, который по умолчанию работает полностью офлайн через Ollama, начинает работу с нулевыми правами доступа и сохраняет постоянную память между сеансами. Он решает проблемы безопасности и стоимости, наблюдаемые в других агентах.
Более 200 спецификаций дизайна приложений в Markdown – перетащите в Claude или Cursor для точного копирования UI
Курированная библиотека из более чем 200 популярных приложений в виде структурированных спецификаций дизайна в Markdown с точными шестнадцатеричными кодами, типографикой, отступами, всеми состояниями экрана и навигационным графом. Вставьте в Claude, Cursor или любой ИИ-агент, чтобы сгенерировать клоны SwiftUI, Jetpack Compose или Expo UI без угадывания цветов и отступов.