Galadriel: Estrutura de Cache Quente de Código Aberto para Agentes Persistentes do Claude

Um usuário do Reddit disponibilizou como código aberto o Galadriel, um harness para agentes Claude persistentes que alcança 87% de economia de custos e latência inferior a 3s em contextos de 100K tokens otimizando o cache de prompts. O projeto, lançado sob licença MIT, visa os problemas de memória e custo frequentemente chamados de "Problema do Peixinho Dourado" em agentes de codificação de IA.

Principais Recursos

• Cache em 3 Camadas: Pontos de quebra de cache separados para definições de ferramentas, prompts de sistema (CLAUDE.md) e histórico de conversação final. Isso evita a invalidação do cache em diferentes segmentos de contexto.
• MemPalace Integrado: Um sistema de memória persistente baseado em vetores que não quebra o cache de prompts, permitindo recordação permanente.
• Prioridade à Privacidade: Projetado para sub-redes privadas — sem intermediários, sem limites de mensagens, apenas sua chave de API e suas regras.
• Diretrizes CLAUDE.md (estilo Karpathy): Regras integradas para evitar inchaço do agente (expansão desnecessária do contexto).

Benchmarks

De acordo com o autor, testado em fluxos de trabalho OpenClaw/Cursor:

• Custo: $10 para cada $100 normalmente gastos (redução de 87%).
• Latência: Contexto de 100K tokens cai de 11s para <3s (melhoria de 85%).

Para Quem é

Desenvolvedores que executam agentes Claude persistentes para tarefas como gerenciamento de infraestrutura ou manutenção de base de código e que estão pagando altos custos de API devido ao contexto não cacheado.

Configuração

Atualmente, o harness é customizado para Discord (configuração pessoal do autor), mas a lógica de cache é genérica. Clone o repositório e adapte a camada de transporte conforme suas necessidades.

GitHub

github.com/avasol/galadriel-public (Licença MIT)