Analisando a Queima de Tokens da Janela de Contexto de 1M do Claude: Dados Mostram Crescimento Ilimitado e Acúmulo de Falhas de Cache

Análise do Consumo de Tokens a partir de Dados Reais de Uso

Uma análise detalhada da implementação da janela de contexto de 1 milhão do Claude revela fatores técnicos específicos que causam consumo rápido de tokens. O autor analisou arquivos de sessão JSONL em várias conversas para identificar padrões.

Principais Descobertas dos Dados

Crescimento Ilimitado do Contexto: Antes da janela de contexto de 1 milhão, a compactação automática era acionada em aproximadamente 160 mil tokens. Após a implementação de 1 milhão, esse limite desapareceu, permitindo que as sessões regularmente alcancem 500 mil+ tokens. Cada prompt reenvia todo o contexto, o que significa que em 500 mil tokens, mesmo uma simples confirmação custa 500 mil tokens. Se o Claude faz 3 chamadas de ferramenta para responder a um prompt, isso representa 1,5 milhão de tokens para uma única interação.

Compensação de Falhas de Cache: A Anthropic armazena o contexto em cache no servidor por aproximadamente 5 minutos. Após essa janela, o próximo prompt reprocessa o contexto completo a aproximadamente 10 vezes o preço em cache. Embora a taxa de falhas de cache não tenha mudado (permanecendo em cerca de 2,5% das interações), uma falha de cache em um contexto de 500 mil tokens é significativamente mais cara do que uma em um contexto de 150 mil tokens.

Ferramenta de Análise

O autor criou um script Python que analisa as contagens de tokens de arquivos de sessão JSONL do Claude sem acessar o conteúdo das conversas. O script detecta automaticamente seu diretório de dados do Claude e requer matplotlib e numpy. O script está disponível em: https://github.com/RyanSeanPhillips/cldctrl/blob/master/docs/context_analysis.py

O autor também menciona o CLD CTRL (https://github.com/RyanSeanPhillips/cldctrl), um painel de terminal para iniciar e monitorar sessões do Claude Code, uso de tokens e atividade de projetos.