Навык OpenClaw сокращает количество токенов дерева доступности с 600 тысяч до 1,3 тысячи для сайтов с большим количеством рекламы.

Сокращение токенов для современных веб-задач

Разработчик на r/openclaw поделился эталонными данными, показывающими значительные различия в количестве токенов в стандартном дереве доступности OpenClaw на разных сайтах. Данные показывают, что сайты с большим количеством рекламы генерируют огромное количество токенов, в то время как более простые сайты остаются управляемыми.

Эталонные данные из источника

• slickdeals: 24 567 элементов → ~598K токенов
• ycombinator: 681 элемент → ~16K токенов
• httpbin: 34 элемента → ~1.5K токенов

Разработчик отметил, что "сайты с большим количеством рекламы просто убийственны" — для анализа страниц, заполненных пикселями отслеживания и рекламными фреймами, требуется 600K токенов.

Решение на основе машинного обучения

Для решения этой проблемы они создали навык OpenClaw, который использует ранжирование элементов на основе машинного обучения для обрезки дерева доступности перед отправкой в LLM. Этот подход сохраняет только ~50 наиболее значимых интерактивных элементов (настраиваемое значение), что сокращает slickdeals с ~598K токенов до ~1.3K токенов.

Доступные ресурсы

Навык доступен в виде:

• Навык OpenClaw: https://clawhub.ai/rcholic/predicate-snapshot
• Репозиторий GitHub: https://github.com/PredicateSystems/openclaw-predicate-skill

Разработчик ищет отзывы об альтернативных подходах к обрезке деревьев доступности для OpenClaw.