Скраплинг интегрирован как основа для скрапинга OpenClaw.
Scrapling, библиотека для скрапинга с открытым исходным кодом, была интегрирована в OpenClaw в качестве основного механизма для сбора данных. Это решает распространённые проблемы, с которыми сталкиваются ИИ-агенты при работе с реальными веб-данными: поломка скраперов, защита Cloudflare и селекторы, которые перестают работать после обновления сайтов.
Ключевые особенности и возможности
В отличие от большинства инструментов для скрапинга, которые полагаются на жёстко заданные селекторы, перестающие работать при редизайне сайтов, Scrapling изучает структуру страницы и автоматически адаптируется к изменениям без необходимости переписывать код.
- Работает в 774 раза быстрее, чем BeautifulSoup с Lxml
- Работает как с HTTP, так и с полной автоматизацией браузера
- Поддерживает CSS, XPath, текстовые и регулярные селекторы
- Асинхронные сессии для параллельного скрапинга
- Включает CLI, чтобы пользователи без навыков программирования могли использовать его без написания кода
Начало работы
Установка проста:
pip install "scrapling[ai]"Библиотека полностью открыта под лицензией BSD-3 и набирает популярность на GitHub.
📖 Read the full source: r/openclaw
👀 Смотрите также
ClawCode: Миграция агентов OpenClaw в Claude Code в качестве плагина
ClawCode — это плагин Node.js для Claude Code, который импортирует агентов OpenClaw, включая IDENTITY, SOUL, память, навыки и задания cron из ~/.openclaw/workspace/. Он предоставляет доступную для поиска память на SQLite+FTS5, плагины обмена сообщениями для WhatsApp, Telegram, Discord, iMessage и Slack, а также ночной процесс 'dream' для консолидации памяти.
Совет: Структурированная диалоговая система для Claude
Совет — «Горнило» — это структурированная диалоговая система, работающая в рамках одного контекстного окна Claude. Она использует персонажное оформление для создания четырёх различных режимов взаимодействия: строгий допрос, генеративное действие, жизненный опыт и неоформленная интуиция.
civStation: Система VLM для игры в Civilization VI с помощью естественно-языковых команд
civStation — это система компьютерного использования VLM, которая играет в Civilization VI, преобразуя высокоуровневые команды на естественном языке в игровые действия. Система использует трёхуровневую архитектуру, разделяющую стратегию и исполнение, с поддержкой вмешательства человека в процесс.
Инструмент командной строки с открытым исходным кодом sdf использует Claude для управления стекированными пулл-реквестами на GitHub.
sdf — это бесплатный CLI-инструмент с лицензией MIT, который автоматизирует рабочие процессы с накопленными пулл-реквестами с использованием git и gh, а Claude CLI обрабатывает сложные задачи, такие как анализ различий и разрешение конфликтов.