Klauenverdichter: 14-stufige Token-Kompressions-Engine für LLM-Pipelines

Was ist Claw Compactor?

Claw Compactor ist eine Open-Source-LLM-Token-Komprimierungs-Engine, die auf einer 14-stufigen Fusion-Pipeline basiert. Jede Stufe ist ein spezialisierter Kompressor – von AST-basierter Codeanalyse über JSON-Statistik-Sampling bis hin zu Simhash-basierter Deduplizierung – die über eine unveränderliche Datenflussarchitektur verkettet sind, wobei die Ausgabe jeder Stufe in die nächste eingespeist wird.

Architekturdetails

Die Fusion-Pipeline umfasst diese Stufen:

• QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
• LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
• Neurosyntax → Nexus → TokenOpt → Abbrev

Wichtige Designprinzipien:

• Unveränderlicher Datenfluss – FusionContext ist eine eingefrorene Dataclass. Jede Stufe erzeugt ein neues FusionResult; nichts wird direkt verändert.
• Gate-before-compress – Jede Stufe verfügt über eine should_apply()-Funktion, die Kontexttyp, Sprache und Rolle prüft, bevor Arbeit geleistet wird. Nicht anwendbare Stufen werden ohne Kosten übersprungen.
• Inhaltsbewusstes Routing – Cortex erkennt automatisch den Inhaltstyp (Code, JSON, Protokolle, Diffs, Suchergebnisse) und die Sprache (Python, Go, Rust, TypeScript usw.), woraufhin nachgelagerte Stufen typbewusste Komprimierungsentscheidungen treffen.
• Reversible Kompression – Ionizer speichert Originale in einem hash-adressierten RewindStore. Das LLM kann ein Tool aufrufen, um jeden komprimierten Abschnitt über seine Marker-ID abzurufen.

Benchmark-Ergebnisse

Echte Kompression (FusionEngine v7 vs Legacy Regex):

• Python-Quellcode: 25,0 % Kompression (3,4-fache Verbesserung gegenüber Legacy)
• JSON (100 Elemente): 81,9 % Kompression (6,5-fache Verbesserung)
• Build-Protokolle: 24,1 % Kompression (4,4-fache Verbesserung)
• Agenten-Konversation: 31,0 % Kompression (5,4-fache Verbesserung)
• Git-Diff: 15,0 % Kompression (2,4-fache Verbesserung)
• Suchergebnisse: 40,7 % Kompression (7,7-fache Verbesserung)
• Gewichteter Durchschnitt: 53,9 % Kompression (5,9-fache Verbesserung)

SWE-bench Echte Aufgaben:

• django__django-11620 (4,5K): 14,5 % Kompression
• sympy__sympy-14396 (5,5K): 19,1 % Kompression
• scikit-learn-25747 (11,8K): 15,9 % Kompression
• scikit-learn-13554 (73K): 11,8 % Kompression
• scikit-learn-25308 (81K): 14,4 % Kompression

vs LLMLingua-2 (ROUGE-L Fidelity):

• Kompression 0,3 (aggressiv): Claw Compactor 0,653 vs LLMLingua-2 0,346 (+88,2 %)
• Kompression 0,5 (ausgewogen): Claw Compactor 0,723 vs LLMLingua-2 0,570 (+26,8 %)

Schnellstart

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Benchmark Ihres Arbeitsbereichs (nicht-destruktiv)
python3 scripts/mem_compress.py /path/to/workspace benchmark
# Vollständige Komprimierungspipeline
python3 scripts/mem_compress.py /path/to/workspace full

Anforderungen: Python 3.9+. Optional: pip install tiktoken für genaue Token-Zählungen.

API-Nutzung

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine()
result = engine.compress(
    text="def hello(): \n # greeting function \n print('hello')",
    content_type="code",  # oder Cortex automatisch erkennen lassen
    language="python",    # optionaler Hinweis
)
print(result["compressed"])  # komprimierte Ausgabe
print(result["stats"])       # Statistiken pro Stufe