Навык OpenClaw сокращает количество токенов в дереве доступности с 600 тысяч до 1,3 тысячи.

Разработчик создал навык OpenClaw, который решает проблему раздувания количества токенов в деревьях доступности при парсинге современных веб-страниц. Навык использует машинное обучение для ранжирования и обрезки элементов перед отправкой данных в LLM.

Проблема вариативности токенов

Разработчик заметил огромную вариативность в количестве токенов в зависимости от содержимого страницы при использовании OpenClaw:

• slickdeals.com: 24 567 элементов → ~598 тыс. токенов
• ycombinator.com: 681 элемент → ~16 тыс. токенов
• httpbin.org: 34 элемента → ~1,5 тыс. токенов

Сайты с большим количеством рекламы были особенно проблематичными: slickdeals генерировал 600 тыс. токенов в основном из-за пикселей отслеживания и рекламных iframe.

Решение: Ранжирование элементов на основе машинного обучения

Навык реализует ранжирование элементов на основе машинного обучения, которое сохраняет только ~50 наиболее значимых интерактивных элементов (настраиваемое значение). Этот подход сокращает slickdeals.com примерно с 598 000 токенов до около 1 300 токенов.

Детали навыка

Навык доступен в виде:

• Навык OpenClaw: https://clawhub.ai/rcholic/predicate-snapshot
• Репозиторий GitHub: https://github.com/PredicateSystems/openclaw-predicate-skill

Этот подход специально направлен на обрезку дерева доступности (A11y) перед отправкой в LLM, что является распространённым узким местом при работе со сложными современными веб-сайтами.