Le compilateur SMELT réduit l'utilisation des jetons d'espace de travail OpenClaw jusqu'à 95 %
Outil d'optimisation des tokens pour l'espace de travail OpenClaw
SMELT est un compilateur Python qui traite les fichiers markdown de l'espace de travail OpenClaw pour réduire l'utilisation de tokens lors de l'envoi de contenu aux modèles d'IA comme Claude ou GPT. L'outil répond à une inefficacité spécifique : OpenClaw renvoie USER.md, SOUL.md, MEMORY.md et AGENTS.md à chaque message, pas seulement au démarrage.
Benchmarks de performance
Les tests sur un modèle Qwen 3.5 122B sur matériel M3-Ultra ont révélé :
- Bundle de démarrage : 7 268 tokens retraités à chaque appel d'inférence
- Session de 50 messages : Plus de 350 000 tokens de fichiers d'espace de travail statiques retraités
- Réductions de tokens spécifiques aux requêtes :
- "Qui est Sally ?" : 1 373 tokens bruts → 73 tokens SMELT (94,7 % d'économie)
- "Quand John est-il né ?" : 1 374 tokens bruts → 62 tokens SMELT (95,5 % d'économie)
- Large "Parle-moi d'Alex" : 1 373 tokens bruts → 328 tokens SMELT (76,1 % d'économie)
- TTFT de démarrage : 14 121 ms brut → 13 273 ms SMELT (6 % plus rapide)
Implémentation technique
SMELT utilise une architecture à quatre couches :
- Archive : Les fichiers originaux ne sont jamais modifiés
- Compilation : Compression structurelle consciente du schéma
- Compression : Remplacement par dictionnaire
- Sélection : Récupération conditionnée par la requête qui n'envoie que les enregistrements pertinents avec leur contexte parent
La quatrième couche (Sélection) est là où se produit la réduction de 95 % des tokens. Le compilateur est conscient du schéma et construit spécifiquement pour les conventions des fichiers d'espace de travail OpenClaw.
Principales découvertes du développement
- La conversion naïve en JSON (une tentative d'optimisation courante) est 30 % moins efficace que le markdown brut
- La suppression des titres offre un bénéfice minimal (amélioration de 7-8 %)
- La compression d'octets et la compression de tokens sont différentes - les mesures doivent utiliser le tokeniseur réel
- 11 des 13 fichiers de test ont atteint 100 % de fidélité, avec deux fichiers d'archives denses ayant des échecs documentés
Limitations actuelles et disponibilité
Le schéma est construit manuellement pour les conventions de l'espace de travail OpenClaw. La prise en charge du markdown arbitraire nécessite un apprentissage du schéma (prévu). L'outil est gratuit pour un usage personnel, avec le code disponible sur GitHub sous TooCas/SMELT et la recherche publiée sur Zenodo avec DOI.
Le projet a été construit avec GPT, Claude et Codex comme collaborateurs.
📖 Read the full source: r/openclaw
👀 See Also
MCP-Loci : Serveur de mémoire persistante locale pour Claude et les IA compatibles MCP
MCP-Loci est un serveur de mémoire persistante qui résout la limitation de mémoire basée sur les sessions de Claude avec cinq outils : remember, recall, forget, synthesize et health. Il utilise une combinaison d'appariement par mots-clés BM25 et d'incorporations sémantiques pour un rappel précis sans nécessiter de clés API.
L'approche de débat multi-agents améliore la qualité du raisonnement des LLM.
Un développeur a expérimenté une approche de débat multi-agents avec CyrcloAI, où différents agents IA endossent des rôles comme analyste, critique et synthétiseur pour critiquer les réponses des autres avant de produire une réponse finale, ce qui a donné des résultats plus structurés et réfléchis.
L'architecture à double modèle réduit de moitié la consommation de jetons pour les conversations longues.
Un développeur a construit un système à double modèle où un petit modèle 'subconscient' compresse l'historique de la conversation en arrière-plan, permettant au modèle principal de travailler avec un contexte soigneusement sélectionné d'environ 35K tokens au lieu de 120K tokens d'historique brut. Cette architecture réduit la consommation de tokens d'environ la moitié pour un travail de projet soutenu.
Specsmaxing : Lutter contre la psychose de l'IA avec des spécifications YAML et ACAI
Acai.sh présente le Specsmaxxing : une méthode pour lutter contre la perte de contexte des agents IA en rédigeant les exigences en YAML et en utilisant des Critères d'Acceptation Numérotés pour l'IA (ACAI) que les agents référencent dans le code.