El compilador SMELT reduce el uso de tokens del espacio de trabajo OpenClaw hasta en un 95%.

Herramienta de optimización de tokens para espacios de trabajo OpenClaw

SMELT es un compilador en Python que procesa archivos markdown del espacio de trabajo de OpenClaw para reducir el uso de tokens al enviar contenido a modelos de IA como Claude o GPT. La herramienta aborda una ineficiencia específica: OpenClaw reenvía USER.md, SOUL.md, MEMORY.md y AGENTS.md en cada mensaje, no solo al inicio.

Puntos de referencia de rendimiento

Las pruebas en un modelo Qwen 3.5 122B en hardware M3-Ultra revelaron:

• Paquete de inicio: 7.268 tokens reprocesados en cada llamada de inferencia
• Sesión de 50 mensajes: Más de 350.000 tokens de archivos estáticos del espacio de trabajo reprocesados
• Reducciones de tokens específicas por consulta:
• "¿Quién es Sally?": 1.373 tokens originales → 73 tokens SMELT (94,7% de ahorro)
• "¿Cuándo nació John?": 1.374 tokens originales → 62 tokens SMELT (95,5% de ahorro)
• Consulta amplia "Háblame de Alex": 1.373 tokens originales → 328 tokens SMELT (76,1% de ahorro)
• TTFT de inicio: 14.121ms original → 13.273ms SMELT (6% más rápido)

Implementación técnica

SMELT utiliza una arquitectura de cuatro capas:

1. Archivo: Los archivos originales nunca se modifican
2. Compilación: Compresión estructural consciente del esquema
3. Compresión: Reemplazo de diccionario
4. Selección: Recuperación condicionada por consulta que solo envía registros relevantes con contexto padre

La cuarta capa (Selección) es donde ocurre la reducción del 95% de tokens. El compilador es consciente del esquema y está construido específicamente para las convenciones de archivos del espacio de trabajo OpenClaw.

Hallazgos clave del desarrollo

• La conversión ingenua a JSON (un intento común de optimización) es un 30% peor que el markdown original
• La eliminación de encabezados proporciona un beneficio mínimo (7-8% de mejora)
• La compresión de bytes y la compresión de tokens son diferentes: las mediciones deben usar el tokenizador real
• 11 de 13 archivos de prueba lograron una fidelidad del 100%, con dos archivos de archivo denso que tuvieron fallos documentados

Limitaciones actuales y disponibilidad

El esquema está construido manualmente para las convenciones del espacio de trabajo OpenClaw. El soporte para markdown arbitrario requiere aprendizaje de esquemas (planeado). La herramienta es gratuita para uso personal, con código disponible en GitHub bajo TooCas/SMELT e investigación publicada en Zenodo con DOI.

El proyecto fue construido con GPT, Claude y Codex como colaboradores.