Скраплинг интегрирован как основа для скрапинга OpenClaw.
Scrapling, библиотека для скрапинга с открытым исходным кодом, была интегрирована в OpenClaw в качестве основного механизма для сбора данных. Это решает распространённые проблемы, с которыми сталкиваются ИИ-агенты при работе с реальными веб-данными: поломка скраперов, защита Cloudflare и селекторы, которые перестают работать после обновления сайтов.
Ключевые особенности и возможности
В отличие от большинства инструментов для скрапинга, которые полагаются на жёстко заданные селекторы, перестающие работать при редизайне сайтов, Scrapling изучает структуру страницы и автоматически адаптируется к изменениям без необходимости переписывать код.
- Работает в 774 раза быстрее, чем BeautifulSoup с Lxml
- Работает как с HTTP, так и с полной автоматизацией браузера
- Поддерживает CSS, XPath, текстовые и регулярные селекторы
- Асинхронные сессии для параллельного скрапинга
- Включает CLI, чтобы пользователи без навыков программирования могли использовать его без написания кода
Начало работы
Установка проста:
pip install "scrapling[ai]"Библиотека полностью открыта под лицензией BSD-3 и набирает популярность на GitHub.
📖 Read the full source: r/openclaw
👀 Смотрите также
Навык OpenClaw atoship превращает AI-ассистента в менеджера по доставке.
Навык atoship для OpenClaw позволяет пользователям описывать потребности в доставке простым английским языком, а затем система сама выбирает перевозчика, сравнивает тарифы, покупает этикетки и отслеживает отправления. Пример команд: 'отправь эту коробку весом 1 фунт в Нью-Йорк, самый дешёвый вариант'.
Библиотека ведения журналов с открытым исходным кодом для соответствия Статье 12 Закона ЕС об искусственном интеллекте
Бесплатная библиотека с открытым исходным кодом на TypeScript для приложений Node.js, использующих Vercel AI SDK, которая реализует требования к ведению журналов по Статье 12 с помощью журналов только для добавления в формате JSONL, цепочки хешей SHA-256 для обнаружения несанкционированных изменений и принудительного хранения в течение 180 дней.
У быстрого пути поиска в памяти QMD OpenClaw были скрытые ошибки.
Встроенный поиск по памяти OpenClaw использует простое сопоставление ключевых слов, но пользователи могут переключиться на QMD для семантического поиска по файлам markdown в рабочем пространстве. Быстрый путь через MCPorter был сломан из-за трёх ошибок, из-за которых каждый вызов молча завершался неудачей и переключался на более медленное выполнение через CLI.
OMAR: Открытая TUI для иерархического управления сотнями AI-агентов кодирования
OMAR — это терминальная панель управления, которая позволяет управлять роями кодирующих агентов (Claude Code, Codex, Cursor, Opencode) в иерархических организациях. Основан на tmux. Поддерживает иерархии агентов, управляющих агентами, гетерогенные бэкенды и интеграцию со Slack.