Gonflement des tokens dans les cadres d'agents : un ratio entrée-sortie de 500:1 est normal

Un utilisateur de Reddit, qui exécute un agent IA auto-hébergé basé sur Telegram avec routage multi-fournisseur, a remarqué des ratios de tokens entrée/sortie extrêmes : environ 21k tokens d'entrée par message contre 50 à 200 tokens de sortie, soit des ratios de 100:1 à 500:1. Détail : définitions d'outils ~13k tokens, prompt système ~5k, fichiers de mémoire/contexte ~3k, message utilisateur <100 tokens.

Est-ce normal ?

La réponse de la communauté confirme qu'un contexte de base de 15 à 25k tokens est standard pour les frameworks d'agents comme LangChain et AutoGPT. Le ratio élevé est structurel en raison d'un accès réel aux outils. Recommandations clés :

• Modèle principal bon marché — les coûts restent bornés même avec le gonflement
• Mise en cache du prompt — utile dans les sessions actives mais avec une TTL de 5 minutes, limitant l'efficacité en cas d'inactivité
• Plafonds de dépenses — garde-fou essentiel même avec des modèles bon marché

Stratégies d'atténuation

Les utilisateurs débattent de deux approches : réduire les définitions d'outils par message en fonction de l'intention (sélection dynamique d'outils) vs accepter le gonflement et compter sur le cache. Les benchmarks suggèrent qu'il est rarement nécessaire de forker le framework pour réduire la surcharge, sauf en cas de déploiement à grande échelle. Le consensus : un contexte de 21k tokens est « le coût des affaires » avec les frameworks d'agents.