Los marcos de agentes desperdician más de 350,000 tokens por sesión al reenviar archivos estáticos.

Resultados de la prueba de referencia sobre desperdicio de tokens

Las mediciones en una configuración local de Qwen 3.5 122B revelaron que los marcos de agentes desperdician más de 350,000 tokens por sesión al reenviar repetidamente archivos estáticos. La fuente describe estos números como "irreales".

Enfoque de optimización

Se descubrió un enfoque en tiempo de compilación que reduce el contexto de consulta de 1,373 tokens a solo 73 tokens. Esto representa una reducción del 95% en el uso de tokens para este contexto específico.

La prueba de referencia también encontró que la conversión ingenua de JSON empeora el problema en un 30%, aumentando el desperdicio de tokens más allá de las mediciones de referencia.

Contexto técnico

Los marcos de agentes generalmente incluyen indicaciones del sistema, definiciones de herramientas y otros datos de configuración que permanecen estáticos en múltiples interacciones dentro de una sesión. Cuando estos datos se reenvían con cada consulta, consumen tokens sin proporcionar nueva información al modelo. Esto es particularmente costoso con modelos grandes como Qwen 3.5 122B, donde el procesamiento de tokens afecta directamente tanto el rendimiento como el costo.

El enfoque en tiempo de compilación probablemente implica preprocesar elementos estáticos para que se hagan referencia en lugar de reenviarse, similar a cómo las aplicaciones web modernas almacenan en caché activos estáticos. Para los desarrolladores que trabajan con agentes de codificación de IA, reducir esta sobrecarga puede mejorar significativamente los tiempos de respuesta y reducir los costos operativos.