Когтевой Компактор: 14-ступенчатый движок сжатия токенов для конвейеров LLM

Что такое Claw Compactor?

Claw Compactor — это движок сжатия токенов LLM с открытым исходным кодом, построенный вокруг 14-ступенчатого Fusion Pipeline. Каждая ступень представляет собой специализированный компрессор — от анализа кода с учётом AST до статистической выборки JSON и дедупликации на основе simhash — связанные через неизменяемую архитектуру потока данных, где выход каждой ступени передаётся на следующую.

Детали архитектуры

Fusion Pipeline включает следующие ступени:

• QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
• LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
• Neurosyntax → Nexus → TokenOpt → Abbrev

Ключевые принципы проектирования:

• Неизменяемый поток данных — FusionContext представляет собой замороженный dataclass. Каждая ступень создаёт новый FusionResult; ничего не изменяется на месте.
• Проверка перед сжатием — Каждая ступень имеет метод should_apply(), который проверяет тип контекста, язык и роль перед выполнением работы. Ступени, которые не применимы, пропускаются без затрат.
• Контент-ориентированная маршрутизация — Cortex автоматически определяет тип контента (код, JSON, логи, диффы, результаты поиска) и язык (Python, Go, Rust, TypeScript и др.), после чего последующие ступени принимают решения о сжатии с учётом типа.
• Обратимое сжатие — Ionizer сохраняет оригиналы в хранилище RewindStore с хеш-адресацией. LLM может вызвать инструмент для извлечения любого сжатого раздела по его маркерному ID.

Результаты тестирования

Сжатие в реальных условиях (FusionEngine v7 vs Legacy Regex):

• Исходный код Python: сжатие 25.0% (улучшение в 3.4 раза по сравнению с legacy)
• JSON (100 элементов): сжатие 81.9% (улучшение в 6.5 раз)
• Логи сборки: сжатие 24.1% (улучшение в 4.4 раза)
• Диалог агента: сжатие 31.0% (улучшение в 5.4 раза)
• Git diff: сжатие 15.0% (улучшение в 2.4 раза)
• Результаты поиска: сжатие 40.7% (улучшение в 7.7 раз)
• Взвешенное среднее: сжатие 53.9% (улучшение в 5.9 раз)

Реальные задачи SWE-bench:

• django__django-11620 (4.5K): сжатие 14.5%
• sympy__sympy-14396 (5.5K): сжатие 19.1%
• scikit-learn-25747 (11.8K): сжатие 15.9%
• scikit-learn-13554 (73K): сжатие 11.8%
• scikit-learn-25308 (81K): сжатие 14.4%

vs LLMLingua-2 (ROUGE-L Fidelity):

• Степень сжатия 0.3 (агрессивная): Claw Compactor 0.653 vs LLMLingua-2 0.346 (+88.2%)
• Степень сжатия 0.5 (сбалансированная): Claw Compactor 0.723 vs LLMLingua-2 0.570 (+26.8%)

Быстрый старт

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Протестируйте ваше рабочее пространство (без изменений)
python3 scripts/mem_compress.py /path/to/workspace benchmark
# Полный конвейер сжатия
python3 scripts/mem_compress.py /path/to/workspace full

Требования: Python 3.9+. Опционально: pip install tiktoken для точного подсчёта токенов.

Использование API

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine()
result = engine.compress(
    text="def hello(): \n # greeting function \n print('hello')",
    content_type="code",  # или позвольте Cortex автоматически определить
    language="python",    # опциональная подсказка
)
print(result["compressed"])  # сжатый вывод
print(result["stats"])       # статистика по ступеням