Tokens do Repositório: Ação do GitHub Adiciona Emblema de Contagem de Tokens para Consciência da Janela de Contexto de LLM

Repo Tokens é uma GitHub Action que calcula a contagem de tokens da sua base de código e adiciona um emblema visual ao seu README indicando quanto da janela de contexto de um modelo de linguagem grande seu repositório ocupa. O objetivo é tornar o tamanho em tokens uma métrica visível, semelhante aos emblemas de tamanho de pacote para bibliotecas JavaScript, incentivando bases de código mais enxutas que são mais compatíveis com agentes de codificação de IA.

Como Funciona

A ação usa tiktoken para tokenização. Ela executa aproximadamente 60 linhas de Python inline e leva cerca de 10 segundos para ser executada. É implementada como uma ação composta.

Configuração e Saída

O tamanho da janela de contexto é configurável, padrão de 200.000 tokens (correspondendo ao tamanho dos modelos Claude). A cor do emblema reflete a porcentagem da janela de contexto configurada que sua base de código preenche:

• Verde: Menos de 30%
• Amarelo: 50-70%
• Vermelho: 70%+

A ação atualiza o arquivo README, mas não faz o commit das alterações automaticamente, permitindo que seu fluxo de trabalho controle a estratégia git.

Esse tipo de ferramenta é útil para desenvolvedores que trabalham com assistentes de IA, pois manter uma base de código dentro da janela de contexto de um LLM permite que o agente mantenha total consciência da estrutura do projeto e das dependências durante tarefas de codificação.