Inchaço de tokens em frameworks de agentes: uma relação de entrada-saída de 500:1 é normal

Um usuário do Reddit executando um agente de IA auto-hospedado baseado no Telegram, com roteamento de múltiplos provedores, notou proporções extremas de tokens de entrada para saída: ~21k tokens de entrada por mensagem contra 50-200 tokens de saída, resultando em proporções de 100:1 a 500:1. Detalhamento: definições de ferramentas ~13k tokens, prompt do sistema ~5k, arquivos de memória/contexto ~3k, mensagem do usuário <100 tokens.

Isso é Normal?

A resposta da comunidade confirma que 15-25k de contexto base é padrão para frameworks de agentes como LangChain e AutoGPT. A alta proporção é estrutural para ter acesso real a ferramentas. Principais recomendações:

• Modelo principal barato — os custos permanecem limitados mesmo com inchaço
• Cache de prompt — economiza em sessões ativas, mas tem um TTL de 5 minutos, limitando a eficácia em períodos ociosos
• Limites de gastos — salvaguarda essencial mesmo com modelos baratos

Estratégias de Mitigação

Os usuários debatem duas abordagens: reduzir as definições de ferramentas por mensagem com base na intenção (seleção dinâmica de ferramentas) versus aceitar o inchaço e confiar no cache. Avaliações sugerem que bifurcar o framework para reduzir a sobrecarga raramente é necessário, a menos que esteja construindo em escala. O consenso: 21k de contexto é “o custo de fazer negócios” com frameworks de agentes.