Compacteur à Griffes : moteur de compression de tokens en 14 étapes pour pipelines LLM

Qu'est-ce que Claw Compactor ?

Claw Compactor est un moteur de compression de tokens LLM open-source construit autour d'un pipeline de fusion à 14 étapes. Chaque étape est un compresseur spécialisé — de l'analyse de code basée sur l'AST à l'échantillonnage statistique JSON en passant par la déduplication basée sur simhash — enchaînés via une architecture de flux de données immuable où la sortie de chaque étape alimente la suivante.

Détails de l'architecture

Le pipeline de fusion comprend ces étapes :

• QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
• LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
• Neurosyntax → Nexus → TokenOpt → Abbrev

Principes de conception clés :

• Flux de données immuable — FusionContext est une classe de données figée. Chaque étape produit un nouveau FusionResult ; rien n'est modifié sur place.
• Vérification avant compression — Chaque étape possède should_apply() qui inspecte le type de contexte, le langage et le rôle avant tout travail. Les étapes qui ne s'appliquent pas sont ignorées sans coût.
• Routage adapté au contenu — Cortex détecte automatiquement le type de contenu (code, JSON, journaux, différences, résultats de recherche) et le langage (Python, Go, Rust, TypeScript, etc.), puis les étapes suivantes prennent des décisions de compression adaptées au type.
• Compression réversible — Ionizer stocke les originaux dans un RewindStore adressé par hachage. Le LLM peut appeler un outil pour récupérer toute section compressée par son ID de marqueur.

Résultats de référence

Compression en conditions réelles (FusionEngine v7 vs Regex hérité) :

• Code source Python : 25,0 % de compression (amélioration de 3,4x par rapport à l'hérité)
• JSON (100 éléments) : 81,9 % de compression (amélioration de 6,5x)
• Journaux de compilation : 24,1 % de compression (amélioration de 4,4x)
• Conversation d'agent : 31,0 % de compression (amélioration de 5,4x)
• Diff Git : 15,0 % de compression (amélioration de 2,4x)
• Résultats de recherche : 40,7 % de compression (amélioration de 7,7x)
• Moyenne pondérée : 53,9 % de compression (amélioration de 5,9x)

Tâches réelles SWE-bench :

• django__django-11620 (4,5K) : 14,5 % de compression
• sympy__sympy-14396 (5,5K) : 19,1 % de compression
• scikit-learn-25747 (11,8K) : 15,9 % de compression
• scikit-learn-13554 (73K) : 11,8 % de compression
• scikit-learn-25308 (81K) : 14,4 % de compression

vs LLMLingua-2 (Fidélité ROUGE-L) :

• Taux de compression 0,3 (agressif) : Claw Compactor 0,653 vs LLMLingua-2 0,346 (+88,2 %)
• Taux de compression 0,5 (équilibré) : Claw Compactor 0,723 vs LLMLingua-2 0,570 (+26,8 %)

Démarrage rapide

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Évaluer votre espace de travail (non destructif)
python3 scripts/mem_compress.py /path/to/workspace benchmark
# Pipeline de compression complet
python3 scripts/mem_compress.py /path/to/workspace full

Prérequis : Python 3.9+. Optionnel : pip install tiktoken pour des comptes de tokens exacts.

Utilisation de l'API

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine()
result = engine.compress(
    text="def hello(): \n # greeting function \n print('hello')",
    content_type="code",  # ou laisser Cortex détecter automatiquement
    language="python",    # indication optionnelle
)
print(result["compressed"])  # sortie compressée
print(result["stats"])       # statistiques par étape