Навык OpenClaw сокращает количество токенов в дереве доступности с 600 тысяч до 1,3 тысячи.
Разработчик создал навык OpenClaw, который решает проблему раздувания количества токенов в деревьях доступности при парсинге современных веб-страниц. Навык использует машинное обучение для ранжирования и обрезки элементов перед отправкой данных в LLM.
Проблема вариативности токенов
Разработчик заметил огромную вариативность в количестве токенов в зависимости от содержимого страницы при использовании OpenClaw:
- slickdeals.com: 24 567 элементов → ~598 тыс. токенов
- ycombinator.com: 681 элемент → ~16 тыс. токенов
- httpbin.org: 34 элемента → ~1,5 тыс. токенов
Сайты с большим количеством рекламы были особенно проблематичными: slickdeals генерировал 600 тыс. токенов в основном из-за пикселей отслеживания и рекламных iframe.
Решение: Ранжирование элементов на основе машинного обучения
Навык реализует ранжирование элементов на основе машинного обучения, которое сохраняет только ~50 наиболее значимых интерактивных элементов (настраиваемое значение). Этот подход сокращает slickdeals.com примерно с 598 000 токенов до около 1 300 токенов.
Детали навыка
Навык доступен в виде:
- Навык OpenClaw: https://clawhub.ai/rcholic/predicate-snapshot
- Репозиторий GitHub: https://github.com/PredicateSystems/openclaw-predicate-skill
Этот подход специально направлен на обрезку дерева доступности (A11y) перед отправкой в LLM, что является распространённым узким местом при работе со сложными современными веб-сайтами.
📖 Read the full source: r/clawdbot
👀 Смотрите также
Я вырезал стандартную память Markdown в OpenClaw и создал API-слой на Node.js/Postgres
Разработчик отключил плагин памяти OpenClaw и построил типизированный бэкенд на Node.js/Express + PostgreSQL. Дрейф контекста снизился до нуля.
Нужен MCP-сервер, обеспечивающий семантическое обнаружение инструментов для AI-агентов.
Сервер MCP под названием Need обеспечивает семантический поиск по более чем 10 000 инструментам из brew, npm, pip и cargo. Когда агент запрашивает задачу, например, 'сжать эти PNG-файлы', он находит pngquant, устанавливает его, запускает и сообщает об успехе.
Галерея архитектур LLM: Визуальный справочник по проектам моделей
Галерея архитектур LLM Себастьяна Рашки собирает схемы архитектур и технические характеристики из The Big LLM Architecture Comparison и A Dream of Spring for Open-Weight LLMs, с подробными спецификациями для моделей, таких как Llama 3 8B, DeepSeek V3 и Gemma 3 27B.
Файловая система памяти Claude Code: Практичная альтернатива векторным базам данных
Claude Code реализует файловую систему памяти, используя файлы .md с метаданными во frontmatter и индексный файл MEMORY.md, избегая векторных баз данных и конвейеров эмбеддингов за счет сканирования файлов, создания манифестов и использования небольшой модели для выбора релевантных воспоминаний.