Der SMELT-Compiler reduziert die OpenClaw-Arbeitsbereich-Tokennutzung um bis zu 95 %.
OpenClaw-Arbeitsbereich-Token-Optimierungstool
SMELT ist ein Python-Compiler, der OpenClaw-Arbeitsbereich-Markdown-Dateien verarbeitet, um die Token-Nutzung beim Senden von Inhalten an KI-Modelle wie Claude oder GPT zu reduzieren. Das Tool behebt eine spezifische Ineffizienz: OpenClaw sendet USER.md, SOUL.md, MEMORY.md und AGENTS.md bei jeder Nachricht erneut, nicht nur beim Start.
Leistungs-Benchmarks
Tests mit einem Qwen 3.5 122B-Modell auf M3-Ultra-Hardware ergaben:
- Startbündel: 7.268 Token bei jedem Inferenzaufruf neu verarbeitet
- 50-Nachrichten-Sitzung: Über 350.000 Token statischer Arbeitsbereichsdateien neu verarbeitet
- Abfragespezifische Token-Reduktionen:
- "Wer ist Sally?": 1.373 Token roh → 73 Token SMELT (94,7 % Ersparnis)
- "Wann wurde John geboren?": 1.374 Token roh → 62 Token SMELT (95,5 % Ersparnis)
- Breite "Erzähl mir von Alex": 1.373 Token roh → 328 Token SMELT (76,1 % Ersparnis)
- Start-TTFT: 14.121 ms roh → 13.273 ms SMELT (6 % schneller)
Technische Implementierung
SMELT verwendet eine vierstufige Architektur:
- Archiv: Originaldateien werden nie verändert
- Kompilieren: Schema-bewusste strukturelle Komprimierung
- Komprimieren: Wörterbuch-Ersetzung
- Auswählen: Abfrage-bedingte Abrufung, die nur relevante Datensätze mit Kontext der übergeordneten Ebene sendet
Die vierte Stufe (Auswählen) ist, wo die 95 % Token-Reduktion stattfindet. Der Compiler ist schema-bewusst und speziell für OpenClaw-Arbeitsbereich-Dateikonventionen entwickelt.
Wichtige Erkenntnisse aus der Entwicklung
- Naive JSON-Konvertierung (ein häufiger Optimierungsversuch) ist 30 % schlechter als rohes Markdown
- Überschriften-Entfernung bietet minimalen Nutzen (7-8 % Verbesserung)
- Byte-Kompression und Token-Kompression sind unterschiedlich - Messungen müssen den tatsächlichen Tokenizer verwenden
- 11 von 13 Testdateien erreichten 100 % Genauigkeit, wobei zwei dichte Archivdateien dokumentierte Fehler aufwiesen
Aktuelle Einschränkungen und Verfügbarkeit
Das Schema ist manuell für OpenClaw-Arbeitsbereich-Konventionen erstellt. Unterstützung für beliebiges Markdown erfordert Schema-Lernen (geplant). Das Tool ist kostenlos für den persönlichen Gebrauch, mit Code verfügbar auf GitHub unter TooCas/SMELT und Forschung veröffentlicht auf Zenodo mit DOI.
Das Projekt wurde mit GPT, Claude und Codex als Kollaborateuren erstellt.
📖 Read the full source: r/openclaw
👀 Siehe auch
Erkundung von Clawe: Open-Source-Koordinationssystem für mehrere Agenten
Clawe ist ein Open-Source-Tool, das eine effiziente Koordination mehrerer Agenten ermöglicht und Funktionen wie Planung, Aufgabenverwaltung und Echtzeit-Benachrichtigungen bietet.
Verwendung von Pre-Commit zur Verbesserung der Qualität und Sicherheit von KI-generiertem Code
Ein Entwickler teilt seine Pre-Commit-Konfiguration für Go- und Java-Projekte, die Tools wie golangci-lint, govulncheck und checkov verwendet, um Schwachstellen und Qualitätsprobleme in KI-generiertem Code vor dem Commit zu erkennen.
Ruflo: Open-Source-Plattform zum Betrieb mehrerer KI-Agenten als Team
Ruflo ist eine Open-Source-Plattform, mit der Sie viele KI-Agenten zusammenarbeiten lassen können, um als Team an komplexen Aufgaben zu arbeiten. Früher als Claude Flow bekannt, hilft es bei der Koordination von Workflows, bei denen Aufgaben in Teile zerlegt werden müssen.
Cloudflares KI-Plattform: Einheitliche Inferenzschicht für KI-Agenten
Cloudflares KI-Plattform bietet eine einzige API für den Zugriff auf über 70 Modelle von mehr als 12 Anbietern, einschließlich multimodaler Unterstützung für Bild-, Video- und Sprachmodelle. Sie ermöglicht das Wechseln zwischen Modellen mit nur einer Codezeilenänderung und bietet zentralisierte Kostenüberwachung mit benutzerdefinierten Metadaten.