Redutor de Tokens: Um Plugin de Código Claude para Compressão Inteligente de Contexto

Token Reducer é um plugin do Claude Code que aborda o problema do consumo excessivo de tokens ao trabalhar com repositórios de médio a grande porte. A ferramenta processa o contexto do repositório localmente antes de enviá-lo ao Claude, reduzindo significativamente o tamanho do contexto sem perder o código relevante.

Como Funciona

O plugin utiliza várias técnicas para comprimir o contexto de forma inteligente:

• Segmentação baseada em AST — Analisa o código em unidades significativas (funções, classes, blocos) em vez de divisão de texto ingênua
• Recuperação híbrida — Combina BM25 (correspondência de palavras-chave) com similaridade vetorial para encontrar os trechos mais relevantes
• Compressão TextRank — Aplica sumarização extrativa para manter partes importantes e eliminar ruído
• Mapeamento de grafo de importação — Rastreia dependências para que códigos relacionados permaneçam juntos
• Expansão de símbolos de 2 saltos — Ao trabalhar na função A que chama a função B, automaticamente inclui o contexto de B

Desempenho e Testes

Em testes com repositórios Python, TypeScript e JavaScript, o desenvolvedor relata redução de 90-98% no tamanho do contexto sem perder código relevante para a tarefa. A ferramenta foi construída usando o próprio Claude para iterar na arquitetura, começando com um segmentador básico e testando contra tarefas reais de codificação até que a compressão fosse eficiente, mas preservando o contexto.

Instalação e Disponibilidade

Token Reducer é completamente gratuito e licenciado sob MIT. Para instalar:

/plugin marketplace add Madhan230205/token-reducer

O código-fonte está disponível no GitHub em github.com/Madhan230205/token-reducer. O desenvolvedor está buscando feedback sobre onde a compressão ajuda nos fluxos de trabalho, casos onde contexto importante é perdido e quais linguagens ou estruturas de repositório precisam de melhor tratamento.

Detalhes Técnicos

O plugin funciona totalmente localmente, sem APIs em nuvem e sem dados saindo da sua máquina. Foi empacotado como um plugin do Claude Code após funcionar de forma confiável nos próprios projetos do desenvolvedor. O repositório está aberto para contribuições, com espaço para otimização para diferentes linguagens, adição de cache mais inteligente ou ajuste de parâmetros de recuperação.