WebClaw: Открытый MCP-сервер для извлечения веб-данных с Claude

WebClaw — это сервер MCP, созданный на Rust, который добавляет возможности извлечения веб-данных в Claude Desktop и Claude Code. Он решает проблему, когда встроенная функция web_fetch в Claude блокируется на большинстве реальных веб-сайтов, возвращая ошибки 403 Forbidden, вызовы Cloudflare или пустые ответы.

Техническое решение

Сервер использует TLS-фингерпринтинг на уровне HTTP, поэтому сайты видят отпечаток реального браузера Chrome, а не бота. В тестировании на 10 популярных сайтах встроенная функция web_fetch в Claude не сработала ни на одном, в то время как WebClaw успешно извлёк контент с 9 из 10 сайтов.

Возможности

• scrape: Извлечение чистого контента с любого URL
• crawl: Рекурсивный обход сайтов
• extract: Структурированное извлечение данных с использованием JSON-схемы или естественно-языковых запросов
• summarize: Сводки страниц
• brand: Извлечение цветов, шрифтов, логотипов с любого сайта
• diff: Отслеживание изменений контента
• Инструменты map, batch, search, research

Разработка с Claude Code

Конвейер извлечения был реализован с помощью Claude Code, включая:

• Алгоритм оценки на основе плотности текста, семантических тегов и штрафов за соотношение ссылок
• Фильтр шума, который удаляет навигацию, рекламу и баннеры cookie без ложных срабатываний на классах Tailwind
• Несколько этапов доработки для сложных случаев

Установка и использование

Для установки требуется одна команда:

npx create-webclaw

Инструмент автоматически определяет Claude Desktop и Claude Code и записывает конфигурацию. API-ключ не требуется для 8 из 10 инструментов, и всё работает локально.

Преимущества производительности

Вывод оптимизирован под контекстное окно Claude. Типичная новостная статья сокращается с 4820 токенов (исходный HTML) до 1590 токенов в формате LLM WebClaw — это сокращение на 67% при сохранении того же контента.

WebClaw бесплатен и имеет открытый исходный код по лицензии MIT, доступен по адресу https://github.com/0xMassi/webclaw.