Tokens del Repositorio: Acción de GitHub Agrega Insignia de Conteo de Tokens para Conciencia de Ventana de Contexto de LLM

Repo Tokens es una acción de GitHub que calcula el recuento de tokens de tu base de código y añade una insignia visual a tu README indicando cuánto de la ventana de contexto de un modelo de lenguaje grande ocupa tu repositorio. El objetivo es hacer que el tamaño en tokens sea una métrica visible, similar a las insignias de tamaño de paquete para bibliotecas de JavaScript, fomentando bases de código más ligeras que sean más compatibles con agentes de codificación con IA.

Cómo Funciona

La acción utiliza tiktoken para la tokenización. Ejecuta aproximadamente 60 líneas de Python en línea y tarda unos 10 segundos en ejecutarse. Está implementada como una acción compuesta.

Configuración y Salida

El tamaño de la ventana de contexto es configurable, por defecto es de 200,000 tokens (coincidiendo con el tamaño de los modelos Claude). El color de la insignia refleja el porcentaje de la ventana de contexto configurada que ocupa tu base de código:

• Verde: Menos del 30%
• Amarillo: 50-70%
• Rojo: 70% o más

La acción actualiza el archivo README pero no confirma automáticamente los cambios, permitiendo que tu flujo de trabajo controle la estrategia de git.

Este tipo de herramienta es útil para desarrolladores que trabajan con asistentes de IA, ya que mantener una base de código dentro de la ventana de contexto de un LLM permite que el agente mantenga plena conciencia de la estructura del proyecto y las dependencias durante las tareas de codificación.