Der SMELT-Compiler reduziert die OpenClaw-Arbeitsbereich-Tokennutzung um bis zu 95 %.
OpenClaw-Arbeitsbereich-Token-Optimierungstool
SMELT ist ein Python-Compiler, der OpenClaw-Arbeitsbereich-Markdown-Dateien verarbeitet, um die Token-Nutzung beim Senden von Inhalten an KI-Modelle wie Claude oder GPT zu reduzieren. Das Tool behebt eine spezifische Ineffizienz: OpenClaw sendet USER.md, SOUL.md, MEMORY.md und AGENTS.md bei jeder Nachricht erneut, nicht nur beim Start.
Leistungs-Benchmarks
Tests mit einem Qwen 3.5 122B-Modell auf M3-Ultra-Hardware ergaben:
- Startbündel: 7.268 Token bei jedem Inferenzaufruf neu verarbeitet
- 50-Nachrichten-Sitzung: Über 350.000 Token statischer Arbeitsbereichsdateien neu verarbeitet
- Abfragespezifische Token-Reduktionen:
- "Wer ist Sally?": 1.373 Token roh → 73 Token SMELT (94,7 % Ersparnis)
- "Wann wurde John geboren?": 1.374 Token roh → 62 Token SMELT (95,5 % Ersparnis)
- Breite "Erzähl mir von Alex": 1.373 Token roh → 328 Token SMELT (76,1 % Ersparnis)
- Start-TTFT: 14.121 ms roh → 13.273 ms SMELT (6 % schneller)
Technische Implementierung
SMELT verwendet eine vierstufige Architektur:
- Archiv: Originaldateien werden nie verändert
- Kompilieren: Schema-bewusste strukturelle Komprimierung
- Komprimieren: Wörterbuch-Ersetzung
- Auswählen: Abfrage-bedingte Abrufung, die nur relevante Datensätze mit Kontext der übergeordneten Ebene sendet
Die vierte Stufe (Auswählen) ist, wo die 95 % Token-Reduktion stattfindet. Der Compiler ist schema-bewusst und speziell für OpenClaw-Arbeitsbereich-Dateikonventionen entwickelt.
Wichtige Erkenntnisse aus der Entwicklung
- Naive JSON-Konvertierung (ein häufiger Optimierungsversuch) ist 30 % schlechter als rohes Markdown
- Überschriften-Entfernung bietet minimalen Nutzen (7-8 % Verbesserung)
- Byte-Kompression und Token-Kompression sind unterschiedlich - Messungen müssen den tatsächlichen Tokenizer verwenden
- 11 von 13 Testdateien erreichten 100 % Genauigkeit, wobei zwei dichte Archivdateien dokumentierte Fehler aufwiesen
Aktuelle Einschränkungen und Verfügbarkeit
Das Schema ist manuell für OpenClaw-Arbeitsbereich-Konventionen erstellt. Unterstützung für beliebiges Markdown erfordert Schema-Lernen (geplant). Das Tool ist kostenlos für den persönlichen Gebrauch, mit Code verfügbar auf GitHub unter TooCas/SMELT und Forschung veröffentlicht auf Zenodo mit DOI.
Das Projekt wurde mit GPT, Claude und Codex als Kollaborateuren erstellt.
📖 Read the full source: r/openclaw
👀 Siehe auch
x402 API-Gateway für OpenClaw-Bots: Ein Endpunkt ersetzt 18 API-Schlüssel
Ein x402-API-Gateway eliminiert die Notwendigkeit mehrerer API-Schlüssel in OpenClaw-Bots, indem es Zugang zu 18 Diensten bietet, darunter intelligentes LLM-Routing, Websuche, Karten, Reisen, Essen, KI- und Finanzdaten, über einen einzigen Endpunkt, der über USDC-Wallet-Guthaben authentifiziert wird.
OpenClaw-Fähigkeit fügt KI-Bildgenerierung mit lokaler ComfyUI-Unterstützung und kuratierten Prompts hinzu
Eine neue OpenClaw-Fähigkeit bietet KI-Bildgenerierung direkt im Terminal mit über 1.300 kuratierten Prompts, lokaler ComfyUI-Integration und Prompt-Verbesserungs-Workflows.
read-once: Ein Claude-Code-Hook, der redundante Dateizugriffe verhindert
Ein Entwickler hat einen PreToolUse-Hook namens read-once erstellt, der verfolgt, welche Dateien Claude Code bereits in einer Sitzung gelesen hat. Er blockiert das erneute Lesen unveränderter Dateien und nutzt Diffs für geänderte Dateien. Das Tool spart tausende von Tokens pro Sitzung, indem es verhindert, dass Claude wiederholt denselben Dateiinhalt liest.
Einführung von OneTool MCP: Ein Open-Source-Multitool für Entwickler
OneTool MCP, entwickelt mit Claude AI, bietet Entwicklern über 100 Werkzeuge für Aufgaben wie Websuchen, Bibliotheksaktualisierungen und Dateiverwaltung ohne Werkzeugsteuer oder Kontextverfall.