Le compilateur SMELT réduit l'utilisation des jetons d'espace de travail OpenClaw jusqu'à 95 %

Outil d'optimisation des tokens pour l'espace de travail OpenClaw

SMELT est un compilateur Python qui traite les fichiers markdown de l'espace de travail OpenClaw pour réduire l'utilisation de tokens lors de l'envoi de contenu aux modèles d'IA comme Claude ou GPT. L'outil répond à une inefficacité spécifique : OpenClaw renvoie USER.md, SOUL.md, MEMORY.md et AGENTS.md à chaque message, pas seulement au démarrage.

Benchmarks de performance

Les tests sur un modèle Qwen 3.5 122B sur matériel M3-Ultra ont révélé :

• Bundle de démarrage : 7 268 tokens retraités à chaque appel d'inférence
• Session de 50 messages : Plus de 350 000 tokens de fichiers d'espace de travail statiques retraités
• Réductions de tokens spécifiques aux requêtes :
• "Qui est Sally ?" : 1 373 tokens bruts → 73 tokens SMELT (94,7 % d'économie)
• "Quand John est-il né ?" : 1 374 tokens bruts → 62 tokens SMELT (95,5 % d'économie)
• Large "Parle-moi d'Alex" : 1 373 tokens bruts → 328 tokens SMELT (76,1 % d'économie)
• TTFT de démarrage : 14 121 ms brut → 13 273 ms SMELT (6 % plus rapide)

Implémentation technique

SMELT utilise une architecture à quatre couches :

1. Archive : Les fichiers originaux ne sont jamais modifiés
2. Compilation : Compression structurelle consciente du schéma
3. Compression : Remplacement par dictionnaire
4. Sélection : Récupération conditionnée par la requête qui n'envoie que les enregistrements pertinents avec leur contexte parent

La quatrième couche (Sélection) est là où se produit la réduction de 95 % des tokens. Le compilateur est conscient du schéma et construit spécifiquement pour les conventions des fichiers d'espace de travail OpenClaw.

Principales découvertes du développement

• La conversion naïve en JSON (une tentative d'optimisation courante) est 30 % moins efficace que le markdown brut
• La suppression des titres offre un bénéfice minimal (amélioration de 7-8 %)
• La compression d'octets et la compression de tokens sont différentes - les mesures doivent utiliser le tokeniseur réel
• 11 des 13 fichiers de test ont atteint 100 % de fidélité, avec deux fichiers d'archives denses ayant des échecs documentés

Limitations actuelles et disponibilité

Le schéma est construit manuellement pour les conventions de l'espace de travail OpenClaw. La prise en charge du markdown arbitraire nécessite un apprentissage du schéma (prévu). L'outil est gratuit pour un usage personnel, avec le code disponible sur GitHub sous TooCas/SMELT et la recherche publiée sur Zenodo avec DOI.

Le projet a été construit avec GPT, Claude et Codex comme collaborateurs.