Когтевой Компактор: 14-ступенчатый движок сжатия токенов для конвейеров LLM

✍️ OpenClawRadar📅 Опубликовано: 18 марта 2026 г.🔗 Source
Когтевой Компактор: 14-ступенчатый движок сжатия токенов для конвейеров LLM
Ad

Что такое Claw Compactor?

Claw Compactor — это движок сжатия токенов LLM с открытым исходным кодом, построенный вокруг 14-ступенчатого Fusion Pipeline. Каждая ступень представляет собой специализированный компрессор — от анализа кода с учётом AST до статистической выборки JSON и дедупликации на основе simhash — связанные через неизменяемую архитектуру потока данных, где выход каждой ступени передаётся на следующую.

Детали архитектуры

Fusion Pipeline включает следующие ступени:

  • QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
  • LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
  • Neurosyntax → Nexus → TokenOpt → Abbrev

Ключевые принципы проектирования:

  • Неизменяемый поток данных — FusionContext представляет собой замороженный dataclass. Каждая ступень создаёт новый FusionResult; ничего не изменяется на месте.
  • Проверка перед сжатием — Каждая ступень имеет метод should_apply(), который проверяет тип контекста, язык и роль перед выполнением работы. Ступени, которые не применимы, пропускаются без затрат.
  • Контент-ориентированная маршрутизация — Cortex автоматически определяет тип контента (код, JSON, логи, диффы, результаты поиска) и язык (Python, Go, Rust, TypeScript и др.), после чего последующие ступени принимают решения о сжатии с учётом типа.
  • Обратимое сжатие — Ionizer сохраняет оригиналы в хранилище RewindStore с хеш-адресацией. LLM может вызвать инструмент для извлечения любого сжатого раздела по его маркерному ID.
Ad

Результаты тестирования

Сжатие в реальных условиях (FusionEngine v7 vs Legacy Regex):

  • Исходный код Python: сжатие 25.0% (улучшение в 3.4 раза по сравнению с legacy)
  • JSON (100 элементов): сжатие 81.9% (улучшение в 6.5 раз)
  • Логи сборки: сжатие 24.1% (улучшение в 4.4 раза)
  • Диалог агента: сжатие 31.0% (улучшение в 5.4 раза)
  • Git diff: сжатие 15.0% (улучшение в 2.4 раза)
  • Результаты поиска: сжатие 40.7% (улучшение в 7.7 раз)
  • Взвешенное среднее: сжатие 53.9% (улучшение в 5.9 раз)

Реальные задачи SWE-bench:

  • django__django-11620 (4.5K): сжатие 14.5%
  • sympy__sympy-14396 (5.5K): сжатие 19.1%
  • scikit-learn-25747 (11.8K): сжатие 15.9%
  • scikit-learn-13554 (73K): сжатие 11.8%
  • scikit-learn-25308 (81K): сжатие 14.4%

vs LLMLingua-2 (ROUGE-L Fidelity):

  • Степень сжатия 0.3 (агрессивная): Claw Compactor 0.653 vs LLMLingua-2 0.346 (+88.2%)
  • Степень сжатия 0.5 (сбалансированная): Claw Compactor 0.723 vs LLMLingua-2 0.570 (+26.8%)

Быстрый старт

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Протестируйте ваше рабочее пространство (без изменений)
python3 scripts/mem_compress.py /path/to/workspace benchmark
# Полный конвейер сжатия
python3 scripts/mem_compress.py /path/to/workspace full

Требования: Python 3.9+. Опционально: pip install tiktoken для точного подсчёта токенов.

Использование API

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine() result = engine.compress( text="def hello(): \n # greeting function \n print('hello')", content_type="code", # или позвольте Cortex автоматически определить language="python", # опциональная подсказка ) print(result["compressed"]) # сжатый вывод print(result["stats"]) # статистика по ступеням

📖 Read the full source: HN LLM Tools

Ad

👀 Смотрите также

cc-session-utils: TUI-панель управления для работы с сессиями Claude Code и контроля расходов
Инструменты

cc-session-utils: TUI-панель управления для работы с сессиями Claude Code и контроля расходов

Разработчик создал cc-session-utils — инструмент с терминальным интерфейсом для управления файлами сессий Claude Code, отслеживания затрат по моделям, очистки потерянных сессий и миграции данных между проектами. Для работы требуется Python 3.11+, инструмент построен на основе Textual.

OpenClawRadar
cc-lens: Локальная панель управления для анализа сессий кода Claude
Инструменты

cc-lens: Локальная панель управления для анализа сессий кода Claude

Разработчик создал cc-lens — локальную панель управления, которая читает файлы сессий Claude Code из ~/.claude/ и предоставляет аналитику использования, отслеживание затрат и воспроизведение сессий. Она работает полностью на вашем компьютере без облачной синхронизации, регистрации или телеметрии.

OpenClawRadar
Менеджер по продукту делится более чем 70 навыками Claude для автоматизации рабочих процессов в управлении продуктами.
Инструменты

Менеджер по продукту делится более чем 70 навыками Claude для автоматизации рабочих процессов в управлении продуктами.

Продуктовый менеджер с 20-летним опытом создал более 70 навыков для Claude, которые автоматизируют типичные задачи PM, включая генерацию PRD, анализ пользовательских интервью, составление конкурентных профилей и построение дорожных карт. Навыки доступны в виде загружаемых .md файлов для Claude Code.

OpenClawRadar
Clawpage: Инструмент для преобразования диалогов OpenClaw в статические веб-сайты
Инструменты

Clawpage: Инструмент для преобразования диалогов OpenClaw в статические веб-сайты

Разработчик создал Clawpage — инструмент, который преобразует историю сессий OpenClaw в статические веб-страницы для сохранения ценных бесед, включая обсуждения, исследования и процесс отладки. Инструмент доступен на GitHub.

OpenClawRadar