A arquitetura de modelo duplo reduz o consumo de tokens pela metade em conversas longas.

Sistema de compressão de contexto para agentes de IA

Um desenvolvedor no r/ClaudeAI compartilhou uma solução para o problema de agentes de IA perderem contexto após a compactação da conversa. O sistema usa uma arquitetura de modelo duplo onde um modelo pequeno e barato (chamado de "subconsciente") comprime continuamente o histórico da conversa em segundo plano.

Detalhes da arquitetura

O sistema tem quatro camadas:

• Resumo narrativo (~1K tokens)
• Fatos comprimidos
• Citações literais recuperadas semanticamente
• Turnos recentes brutos

O modelo principal ("consciente") recebe um contexto curado de ~35K tokens com a mesma densidade de informação que normalmente exigiria 120K tokens de histórico bruto. O modelo principal lê uma linha do tempo coerente e não sabe que o sistema de memória existe.

Resultados de desempenho

O desenvolvedor simulou 260 turnos em diferentes tipos de conversa. Para trabalhos de projeto sustentados (começando com pesquisa pesada e gradualmente mudando para trocas rápidas à medida que o modelo aprende o domínio), o sistema reduz o consumo de tokens aproximadamente pela metade.

Ferramentas de desenvolvimento

O sistema foi construído com Claude Code para a simulação e Claude.ai na fase de consultoria e pesquisa. O desenvolvedor está procurando por outras pessoas que tentaram direcionar um modelo menor para gerenciar o contexto de um maior ou encontraram outras soluções alternativas para o problema de compactação.