Компилятор SMELT сокращает использование токенов рабочего пространства OpenClaw до 95%.

Инструмент оптимизации токенов рабочего пространства OpenClaw

SMELT — это компилятор на Python, который обрабатывает файлы разметки рабочего пространства OpenClaw для сокращения использования токенов при отправке контента моделям ИИ, таким как Claude или GPT. Инструмент решает конкретную проблему неэффективности: OpenClaw повторно отправляет USER.md, SOUL.md, MEMORY.md и AGENTS.md при каждом сообщении, а не только при запуске.

Тесты производительности

Тестирование на модели Qwen 3.5 122B на оборудовании M3-Ultra показало:

• Стартовый пакет: 7 268 токенов повторно обрабатываются при каждом вызове вывода
• Сессия из 50 сообщений: Более 350 000 токенов статических файлов рабочего пространства повторно обработаны
• Сокращение токенов для конкретных запросов:
• «Кто такая Салли?»: 1 373 токена в исходном виде → 73 токена с SMELT (экономия 94,7%)
• «Когда родился Джон?»: 1 374 токена в исходном виде → 62 токена с SMELT (экономия 95,5%)
• Общий запрос «Расскажи об Алексе»: 1 373 токена в исходном виде → 328 токенов с SMELT (экономия 76,1%)
• Время до первого токена (TTFT) при запуске: 14 121 мс в исходном виде → 13 273 мс с SMELT (на 6% быстрее)

Техническая реализация

SMELT использует четырёхуровневую архитектуру:

1. Архив: Исходные файлы никогда не изменяются
2. Компиляция: Структурное сжатие с учётом схемы
3. Сжатие: Замена по словарю
4. Выбор: Извлечение, обусловленное запросом, которое отправляет только релевантные записи с контекстом родителя

Четвёртый уровень (Выбор) — это где происходит сокращение токенов на 95%. Компилятор учитывает схему и создан специально для соглашений о файлах рабочего пространства OpenClaw.

Ключевые выводы из разработки

• Простое преобразование в JSON (распространённая попытка оптимизации) на 30% хуже, чем исходная разметка
• Удаление заголовков даёт минимальную пользу (улучшение на 7–8%)
• Сжатие байтов и сжатие токенов — это разные вещи — измерения должны использовать фактический токенизатор
• 11 из 13 тестовых файлов достигли 100% точности, с документально подтверждёнными сбоями в двух плотных архивных файлах

Текущие ограничения и доступность

Схема создана вручную для соглашений рабочего пространства OpenClaw. Поддержка произвольной разметки требует обучения схемы (запланировано). Инструмент бесплатен для личного использования, код доступен на GitHub под TooCas/SMELT, а исследование опубликовано на Zenodo с DOI.

Проект создан с GPT, Claude и Codex в качестве соавторов.