Compactador de Garras: motor de compressão de tokens em 14 estágios para pipelines de LLM

O que é o Claw Compactor?

Claw Compactor é um motor de compressão de tokens LLM de código aberto construído em torno de um Pipeline de Fusão de 14 estágios. Cada estágio é um compressor especializado — desde análise de código com consciência de AST até amostragem estatística de JSON e desduplicação baseada em simhash — encadeados por meio de uma arquitetura de fluxo de dados imutável onde a saída de cada estágio alimenta o próximo.

Detalhes da Arquitetura

O Pipeline de Fusão inclui estes estágios:

• QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
• LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
• Neurosyntax → Nexus → TokenOpt → Abbrev

Princípios de design principais:

• Fluxo de dados imutável — FusionContext é uma dataclass congelada. Cada estágio produz um novo FusionResult; nada é modificado no local.
• Verificar antes de comprimir — Cada estágio possui should_apply() que inspeciona tipo de contexto, linguagem e função antes de realizar qualquer trabalho. Estágios que não se aplicam são ignorados sem custo.
• Roteamento consciente do conteúdo — Cortex detecta automaticamente o tipo de conteúdo (código, JSON, logs, diffs, resultados de busca) e linguagem (Python, Go, Rust, TypeScript, etc.), então os estágios subsequentes tomam decisões de compressão conscientes do tipo.
• Compressão reversível — Ionizer armazena originais em um RewindStore endereçado por hash. O LLM pode chamar uma ferramenta para recuperar qualquer seção comprimida por seu ID de marcador.

Resultados de Benchmark

Compressão do Mundo Real (FusionEngine v7 vs Regex Legado):

• Código Python: 25,0% de compressão (3,4x melhoria sobre legado)
• JSON (100 itens): 81,9% de compressão (6,5x melhoria)
• Logs de build: 24,1% de compressão (4,4x melhoria)
• Conversa de agente: 31,0% de compressão (5,4x melhoria)
• Git diff: 15,0% de compressão (2,4x melhoria)
• Resultados de busca: 40,7% de compressão (7,7x melhoria)
• Média ponderada: 53,9% de compressão (5,9x melhoria)

Tarefas Reais SWE-bench:

• django__django-11620 (4,5K): 14,5% de compressão
• sympy__sympy-14396 (5,5K): 19,1% de compressão
• scikit-learn-25747 (11,8K): 15,9% de compressão
• scikit-learn-13554 (73K): 11,8% de compressão
• scikit-learn-25308 (81K): 14,4% de compressão

vs LLMLingua-2 (Fidelidade ROUGE-L):

• Taxa de compressão 0,3 (agressiva): Claw Compactor 0,653 vs LLMLingua-2 0,346 (+88,2%)
• Taxa de compressão 0,5 (equilibrada): Claw Compactor 0,723 vs LLMLingua-2 0,570 (+26,8%)

Início Rápido

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Faça benchmark do seu workspace (não destrutivo)
python3 scripts/mem_compress.py /path/to/workspace benchmark
# Pipeline de compressão completo
python3 scripts/mem_compress.py /path/to/workspace full

Requisitos: Python 3.9+. Opcional: pip install tiktoken para contagens exatas de tokens.

Uso da API

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine()
result = engine.compress(
    text="def hello(): \n # greeting function \n print('hello')",
    content_type="code",  # ou deixe Cortex detectar automaticamente
    language="python",    # dica opcional
)
print(result["compressed"])  # saída comprimida
print(result["stats"])       # estatísticas por estágio