Compactador de Garras: motor de compresión de tokens de 14 etapas para canalizaciones de LLM

¿Qué es Claw Compactor?

Claw Compactor es un motor de compresión de tokens LLM de código abierto construido alrededor de una Tubería de Fusión de 14 etapas. Cada etapa es un compresor especializado — desde análisis de código consciente del AST hasta muestreo estadístico JSON y deduplicación basada en simhash — encadenados a través de una arquitectura de flujo de datos inmutable donde la salida de cada etapa alimenta la siguiente.

Detalles de la Arquitectura

La Tubería de Fusión incluye estas etapas:

• QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
• LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
• Neurosyntax → Nexus → TokenOpt → Abbrev

Principios de diseño clave:

• Flujo de datos inmutable — FusionContext es una clase de datos congelada. Cada etapa produce un nuevo FusionResult; nada se modifica en el lugar.
• Verificar antes de comprimir — Cada etapa tiene should_apply() que inspecciona el tipo de contexto, lenguaje y rol antes de realizar cualquier trabajo. Las etapas que no aplican se omiten sin costo.
• Enrutamiento consciente del contenido — Cortex detecta automáticamente el tipo de contenido (código, JSON, registros, diferencias, resultados de búsqueda) y lenguaje (Python, Go, Rust, TypeScript, etc.), luego las etapas posteriores toman decisiones de compresión conscientes del tipo.
• Compresión reversible — Ionizer almacena los originales en un RewindStore direccionado por hash. El LLM puede llamar a una herramienta para recuperar cualquier sección comprimida por su ID de marcador.

Resultados de Referencia

Compresión del Mundo Real (FusionEngine v7 vs Regex Heredado):

• Código fuente Python: 25.0% de compresión (3.4x mejora sobre heredado)
• JSON (100 elementos): 81.9% de compresión (6.5x mejora)
• Registros de compilación: 24.1% de compresión (4.4x mejora)
• Conversación de agente: 31.0% de compresión (5.4x mejora)
• Diferencias Git: 15.0% de compresión (2.4x mejora)
• Resultados de búsqueda: 40.7% de compresión (7.7x mejora)
• Promedio ponderado: 53.9% de compresión (5.9x mejora)

Tareas Reales SWE-bench:

• django__django-11620 (4.5K): 14.5% de compresión
• sympy__sympy-14396 (5.5K): 19.1% de compresión
• scikit-learn-25747 (11.8K): 15.9% de compresión
• scikit-learn-13554 (73K): 11.8% de compresión
• scikit-learn-25308 (81K): 14.4% de compresión

vs LLMLingua-2 (Fidelidad ROUGE-L):

• Tasa de compresión 0.3 (agresiva): Claw Compactor 0.653 vs LLMLingua-2 0.346 (+88.2%)
• Tasa de compresión 0.5 (equilibrada): Claw Compactor 0.723 vs LLMLingua-2 0.570 (+26.8%)

Inicio Rápido

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Evaluar tu espacio de trabajo (no destructivo)
python3 scripts/mem_compress.py /ruta/al/espacio-de-trabajo benchmark
# Tubería de compresión completa
python3 scripts/mem_compress.py /ruta/al/espacio-de-trabajo full

Requisitos: Python 3.9+. Opcional: pip install tiktoken para conteos exactos de tokens.

Uso de la API

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine()
result = engine.compress(
    text="def hello(): \n # función de saludo \n print('hello')",
    content_type="code",  # o dejar que Cortex detecte automáticamente
    language="python",    # sugerencia opcional
)
print(result["compressed"])  # salida comprimida
print(result["stats"])       # estadísticas por etapa