Maître des Jetons : Concept Architectural pour Économiser 30 à 70 % sur les Coûts des Agents IA

Un membre de la communauté a proposé Token Master — un concept architectural détaillé pour le routage intelligent multi-modèles qui pourrait réduire les coûts des agents IA de 30 à 70 % selon la charge de travail.

L'idée centrale

Le principe clé : traiter les modèles comme des travailleurs sans état interchangeables, pas comme des partenaires de conversation persistants.

Le tourniquet naïf (de A à B à C) crée une dérive de contexte, un raisonnement incohérent et une latence plus élevée. Mais un pool de fournisseurs rotatif piloté par des politiques peut résoudre de vrais problèmes : limites de débit, plafonds de dépenses, pannes de fournisseurs et optimisation des coûts.

Composants de l'architecture

• Couche d'état partagé — Dépôt de code, graphe de tâches, mémoire vectorielle, résumés structurés
• Moteur de politique — Suit les dépenses, limites de débit, latence ; choisit le modèle par tâche
• Pool de modèles — Haut de gamme (GPT/Claude), milieu de gamme (Mixtral/Qwen), traitement en masse économique (petits modèles ouverts)
• Étape de validation — Tests, métriques, modèle de critique optionnel

Flux des tâches

1. L'agent crée une tâche
2. Un instantané d'état est généré
3. Le moteur de politique sélectionne le modèle
4. Le modèle exécute la tâche sans état
5. La sortie est stockée dans l'état partagé
6. Le validateur vérifie le résultat
7. Si réussi — valider ; si échoué — passer à un modèle de niveau supérieur

Pourquoi cela fonctionne

Schéma typique dans les systèmes d'agents : 60 à 80 % des tâches sont résolubles par des modèles milieu de gamme, 10 à 20 % nécessitent des modèles premium, et 5 à 10 % nécessitent des nouvelles tentatives. En routant de manière appropriée, les coûts baissent significativement.

L'architecture élimine le transfert de conversation, la dérive de personnalité et la copie de contexte en utilisant un stockage d'état partagé comme source de vérité.