O compilador SMELT reduz o uso de tokens do espaço de trabalho OpenClaw em até 95%.

Ferramenta de otimização de tokens para workspace OpenClaw

O SMELT é um compilador Python que processa arquivos markdown do workspace do OpenClaw para reduzir o uso de tokens ao enviar conteúdo para modelos de IA como Claude ou GPT. A ferramenta aborda uma ineficiência específica: o OpenClaw reenvia USER.md, SOUL.md, MEMORY.md e AGENTS.md em cada mensagem, não apenas na inicialização.

Benchmarks de desempenho

Testes em um modelo Qwen 3.5 122B em hardware M3-Ultra revelaram:

• Pacote de inicialização: 7.268 tokens reprocessados em cada chamada de inferência
• Sessão de 50 mensagens: Mais de 350.000 tokens de arquivos estáticos do workspace reprocessados
• Reduções específicas de tokens por consulta:
• "Quem é Sally?": 1.373 tokens brutos → 73 tokens SMELT (94,7% de economia)
• "Quando John nasceu?": 1.374 tokens brutos → 62 tokens SMELT (95,5% de economia)
• Consulta ampla "Conte-me sobre Alex": 1.373 tokens brutos → 328 tokens SMELT (76,1% de economia)
• TTFT de inicialização: 14.121ms bruto → 13.273ms SMELT (6% mais rápido)

Implementação técnica

O SMELT usa uma arquitetura de quatro camadas:

1. Arquivo: Os arquivos originais nunca são alterados
2. Compilação: Compressão estrutural com conhecimento do esquema
3. Compressão: Substituição por dicionário
4. Seleção: Recuperação condicionada por consulta que envia apenas registros relevantes com contexto pai

A quarta camada (Seleção) é onde ocorre a redução de 95% dos tokens. O compilador tem conhecimento do esquema e foi construído especificamente para as convenções de arquivos do workspace do OpenClaw.

Principais descobertas do desenvolvimento

• A conversão ingênua para JSON (uma tentativa comum de otimização) é 30% pior que o markdown bruto
• A remoção de cabeçalhos fornece benefício mínimo (7-8% de melhoria)
• Compressão de bytes e compressão de tokens são diferentes - as medições devem usar o tokenizador real
• 11 dos 13 arquivos de teste alcançaram 100% de fidelidade, com dois arquivos de arquivo denso tendo falhas documentadas

Limitações atuais e disponibilidade

O esquema é construído manualmente para as convenções do workspace do OpenClaw. O suporte para markdown arbitrário requer aprendizado de esquema (planejado). A ferramenta é gratuita para uso pessoal, com código disponível no GitHub em TooCas/SMELT e pesquisa publicada no Zenodo com DOI.

O projeto foi construído com GPT, Claude e Codex como colaboradores.