Репозиторий Токенов: GitHub Action Добавляет Значок Подсчета Токенов для Осведомленности о Контекстном Окне LLM

Repo Tokens — это GitHub Action, который вычисляет количество токенов в вашей кодовой базе и добавляет в README визуальный значок, показывающий, какую часть контекстного окна большой языковой модели занимает ваш репозиторий. Цель — сделать размер в токенах видимой метрикой, аналогично значкам размера бандла для JavaScript-библиотек, поощряя более компактные кодовые базы, которые лучше совместимы с ИИ-агентами для программирования.

Как это работает

Действие использует tiktoken для токенизации. Оно выполняет примерно 60 строк встроенного Python-кода и занимает около 10 секунд. Реализовано как составное действие.

Настройка и вывод

Размер контекстного окна настраивается, по умолчанию — 200 000 токенов (соответствует размеру моделей Claude). Цвет значка отражает процент настроенного контекстного окна, который заполняет ваша кодовая база:

• Зелёный: Менее 30%
• Жёлтый: 50-70%
• Красный: 70% и выше

Действие обновляет файл README, но не фиксирует изменения автоматически, позволяя вашему workflow контролировать стратегию работы с git.

Такой инструмент полезен разработчикам, работающим с ИИ-ассистентами, поскольку поддержание кодовой базы в пределах контекстного окна языковой модели позволяет агенту сохранять полное понимание структуры проекта и зависимостей во время выполнения задач по программированию.