SMELTコンパイラは、OpenClawワークスペースのトークン使用量を最大95％削減します。

OpenClawワークスペーストークン最適化ツール

SMELTは、OpenClawワークスペースのマークダウンファイルを処理し、ClaudeやGPTなどのAIモデルにコンテンツを送信する際のトークン使用量を削減するPythonコンパイラです。このツールは、OpenClawが起動時だけでなく、すべてのメッセージでUSER.md、SOUL.md、MEMORY.md、AGENTS.mdを再送信するという特定の非効率性に対処します。

パフォーマンスベンチマーク

M3-Ultraハードウェア上のQwen 3.5 122Bモデルでのテスト結果：

• 起動バンドル：すべての推論呼び出しで7,268トークンが再処理
• 50メッセージセッション：静的ワークスペースファイルの35万トークン以上が再処理
• クエリ別トークン削減率：
• 「サリーは誰？」：1,373トークン（生）→ 73トークン（SMELT）（94.7%削減）
• 「ジョンはいつ生まれた？」：1,374トークン（生）→ 62トークン（SMELT）（95.5%削減）
• 広範な「アレックスについて教えて」：1,373トークン（生）→ 328トークン（SMELT）（76.1%削減）
• 起動TTFT：14,121ms（生）→ 13,273ms（SMELT）（6%高速化）

技術的実装

SMELTは4層アーキテクチャを採用：

1. アーカイブ：元ファイルは一切変更されない
2. コンパイル：スキーマを意識した構造的圧縮
3. 圧縮：辞書置換
4. 選択：クエリ条件付き検索で、関連するレコードと親コンテキストのみを送信

第4層（選択）で95%のトークン削減が実現されます。コンパイラはスキーマを意識しており、OpenClawワークスペースファイルの慣例に特化して構築されています。

開発から得られた主な知見

• 単純なJSON変換（一般的な最適化手法）は、生のマークダウンより30%悪化
• 見出し削除による効果は最小限（7-8%改善）
• バイト圧縮とトークン圧縮は異なる - 実際のトークナイザーを使用した測定が必要
• 13のテストファイルのうち11ファイルで100%忠実性を達成、2つの高密度アーカイブファイルは文書化された失敗あり

現在の制限と利用可能性

スキーマはOpenClawワークスペースの慣例に手動で構築されています。任意のマークダウン対応にはスキーマ学習が必要（計画中）。ツールは個人利用無料で、コードはGitHubのTooCas/SMELTで公開、研究はZenodoにDOI付きで公開されています。

このプロジェクトはGPT、Claude、Codexを共同作業者として構築されました。