Les frameworks d'agents gaspillent plus de 350 000 jetons par session en renvoyant des fichiers statiques.

Résultats du benchmark sur le gaspillage de tokens

Des mesures sur une configuration locale Qwen 3.5 122B ont révélé que les frameworks d'agents gaspillent plus de 350 000 tokens par session en renvoyant à plusieurs reprises des fichiers statiques. La source décrit ces chiffres comme "irréels".

Approche d'optimisation

Une approche de compilation a été découverte qui réduit le contexte de requête de 1 373 tokens à seulement 73 tokens. Cela représente une réduction de 95 % de l'utilisation des tokens pour ce contexte spécifique.

Le benchmark a également constaté qu'une conversion JSON naïve aggrave le problème de 30 %, augmentant le gaspillage de tokens au-delà des mesures de base.

Contexte technique

Les frameworks d'agents incluent généralement des invites système, des définitions d'outils et d'autres données de configuration qui restent statiques à travers plusieurs interactions au sein d'une session. Lorsque ces données sont renvoyées avec chaque requête, elles consomment des tokens sans fournir de nouvelles informations au modèle. Cela est particulièrement coûteux avec les grands modèles comme Qwen 3.5 122B où le traitement des tokens impacte directement à la fois les performances et le coût.

L'approche de compilation implique probablement un prétraitement des éléments statiques pour qu'ils soient référencés plutôt que renvoyés, similaire à la façon dont les applications web modernes mettent en cache les ressources statiques. Pour les développeurs travaillant avec des agents de codage IA, réduire cette surcharge peut significativement améliorer les temps de réponse et réduire les coûts opérationnels.