WebClaw: Открытый MCP-сервер для извлечения веб-данных с Claude
WebClaw — это сервер MCP, созданный на Rust, который добавляет возможности извлечения веб-данных в Claude Desktop и Claude Code. Он решает проблему, когда встроенная функция web_fetch в Claude блокируется на большинстве реальных веб-сайтов, возвращая ошибки 403 Forbidden, вызовы Cloudflare или пустые ответы.
Техническое решение
Сервер использует TLS-фингерпринтинг на уровне HTTP, поэтому сайты видят отпечаток реального браузера Chrome, а не бота. В тестировании на 10 популярных сайтах встроенная функция web_fetch в Claude не сработала ни на одном, в то время как WebClaw успешно извлёк контент с 9 из 10 сайтов.
Возможности
scrape: Извлечение чистого контента с любого URLcrawl: Рекурсивный обход сайтовextract: Структурированное извлечение данных с использованием JSON-схемы или естественно-языковых запросовsummarize: Сводки страницbrand: Извлечение цветов, шрифтов, логотипов с любого сайтаdiff: Отслеживание изменений контента- Инструменты
map,batch,search,research
Разработка с Claude Code
Конвейер извлечения был реализован с помощью Claude Code, включая:
- Алгоритм оценки на основе плотности текста, семантических тегов и штрафов за соотношение ссылок
- Фильтр шума, который удаляет навигацию, рекламу и баннеры cookie без ложных срабатываний на классах Tailwind
- Несколько этапов доработки для сложных случаев
Установка и использование
Для установки требуется одна команда:
npx create-webclawИнструмент автоматически определяет Claude Desktop и Claude Code и записывает конфигурацию. API-ключ не требуется для 8 из 10 инструментов, и всё работает локально.
Преимущества производительности
Вывод оптимизирован под контекстное окно Claude. Типичная новостная статья сокращается с 4820 токенов (исходный HTML) до 1590 токенов в формате LLM WebClaw — это сокращение на 67% при сохранении того же контента.
WebClaw бесплатен и имеет открытый исходный код по лицензии MIT, доступен по адресу https://github.com/0xMassi/webclaw.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Решения по Коду: Плагин Claude с открытым исходным кодом фиксирует технические решения
Code Decisions — это плагин с открытым исходным кодом для Claude Code, который фиксирует технические решения из диалогов и показывает их при редактировании затронутых файлов. Он записывает решения в виде markdown-файлов в .claude/decisions/ с полем affects, указывающим на управляемые файлы.
Qwen3.6 27B和35B在vLLM上的调优结果：单块Radeon R9700的性能测试
Пользователь делится результатами настройки vLLM для моделей Qwen3.6 27B и 35B на одной видеокарте Radeon R9700, включая различия в конфигурации и подробные бенчмарки.
Детерминированная архитектура компилятора для многошаговых LLM-процессов демонстрирует высокие результаты в тестах.
Детерминированная архитектура компиляции для структурированных рабочих процессов LLM использует типизированные реестры узлов, контракты параметров и статическую валидацию для компиляции графов рабочих процессов заранее. Бенчмарки показывают, что она превосходит GPT-4.1 и Claude Sonnet 4.6 при глубине рабочих процессов от 3 до 12+ узлов.
Шесть инструментов с открытым исходным кодом, решающих проблемы безопасности, стоимости и сложности OpenClaw
Разработчик протестировал шесть инструментов сообщества для устранения уязвимостей безопасности OpenClaw, отмеченных Cisco, растущих затрат и сложной настройки. ClawSec обеспечивает сканирование безопасности и проверку целостности, Antfarm позволяет создавать детерминированные рабочие процессы с несколькими агентами, а LanceDB Pro улучшает поиск в памяти с помощью гибридного векторного поиска.