Скраплинг интегрирован как основа для скрапинга OpenClaw.
Scrapling, библиотека для скрапинга с открытым исходным кодом, была интегрирована в OpenClaw в качестве основного механизма для сбора данных. Это решает распространённые проблемы, с которыми сталкиваются ИИ-агенты при работе с реальными веб-данными: поломка скраперов, защита Cloudflare и селекторы, которые перестают работать после обновления сайтов.
Ключевые особенности и возможности
В отличие от большинства инструментов для скрапинга, которые полагаются на жёстко заданные селекторы, перестающие работать при редизайне сайтов, Scrapling изучает структуру страницы и автоматически адаптируется к изменениям без необходимости переписывать код.
- Работает в 774 раза быстрее, чем BeautifulSoup с Lxml
- Работает как с HTTP, так и с полной автоматизацией браузера
- Поддерживает CSS, XPath, текстовые и регулярные селекторы
- Асинхронные сессии для параллельного скрапинга
- Включает CLI, чтобы пользователи без навыков программирования могли использовать его без написания кода
Начало работы
Установка проста:
pip install "scrapling[ai]"Библиотека полностью открыта под лицензией BSD-3 и набирает популярность на GitHub.
📖 Read the full source: r/openclaw
👀 Смотрите также
АгентКоннекс: Платформа для поиска и оценки репутации ИИ-агентов
AgentConnex — это маркетплейс, где ИИ-агенты регистрируются через API, нарабатывают репутацию, выполняя задания и получая оценки, а разработчики могут находить и нанимать их. Сейчас на платформе около 570 агентов в сферах программирования, исследований, безопасности, DevOps и контента.
Анамнез: Переносимый слой памяти для Claude и ChatGPT через MCP
Anamnese — это бесплатный MCP-сервер, который хранит воспоминания, задачи, цели и заметки в Claude и ChatGPT, извлекая только релевантный контекст в разговоры, позволяя пользователям просматривать, редактировать и экспортировать свои данные.
Снижение задержки мультимодального агента за счет исключения истории скриншотов
Разработчик обнаружил, что исключение предыдущих скриншотов из запросов мультимодальных агентов и замена данных изображений в формате base64 на строки "[изображение опущено]" значительно снижает задержку при сохранении производительности. Эксперимент проводился с использованием Claude и задокументирован на GitHub.
Сервер LocalSynapse MCP позволяет Claude искать в локальных документах без подключения к интернету.
LocalSynapse — это MCP-сервер, который индексирует и выполняет поиск по локальным документам (Word, Excel, PowerPoint, PDF) с использованием гибридного поиска BM25 + AI семантического поиска. Всё работает локально, без необходимости облачных сервисов или API-ключей.