Token Master: Conceito Arquitetônico para Economizar 30-70% nos Custos de Agentes de IA

Um membro da comunidade propôs o Token Master — um conceito arquitetônico detalhado para roteamento inteligente multi-modelo que poderia reduzir os custos de agentes de IA em 30-70%, dependendo da carga de trabalho.

A Ideia Central

O princípio fundamental: tratar modelos como trabalhadores sem estado intercambiáveis, não como parceiros de conversação persistentes.

O round-robin ingênuo (de A para B para C) cria desvio de contexto, raciocínio inconsistente e maior latência. Mas um pool rotativo de provedores orientado por políticas pode resolver problemas reais: limites de taxa, tetos de gastos, interrupções de provedores e otimização de custos.

Componentes da Arquitetura

• Camada de estado compartilhado — Repositório de código, grafo de tarefas, memória vetorial, resumos estruturados
• Motor de políticas — Acompanha gastos, limites de taxa, latência; escolhe o modelo por tarefa
• Pool de modelos — Alto desempenho (GPT/Claude), nível médio (Mixtral/Qwen), processamento em massa barato (modelos pequenos e abertos)
• Estágio de validação — Testes, métricas, modelo de crítica opcional

Fluxo de Tarefas

1. Agente cria tarefa
2. Snapshot de estado gerado
3. Motor de políticas seleciona modelo
4. Modelo executa tarefa sem estado
5. Saída armazenada no estado compartilhado
6. Validador verifica resultado
7. Se passar — confirma; se falhar — sobe para nível superior de modelo

Por Que Funciona

Padrão típico em sistemas de agentes: 60-80% das tarefas são solucionáveis por modelos de nível médio, 10-20% precisam de modelos premium e 5-10% exigem novas tentativas. Ao rotear adequadamente, os custos caem significativamente.

A arquitetura elimina a transferência de conversação, o desvio de personalidade e a cópia de contexto usando um armazenamento de estado compartilhado como fonte da verdade.