Репозиторий Токенов: GitHub Action Добавляет Значок Подсчета Токенов для Осведомленности о Контекстном Окне LLM
Repo Tokens — это GitHub Action, который вычисляет количество токенов в вашей кодовой базе и добавляет в README визуальный значок, показывающий, какую часть контекстного окна большой языковой модели занимает ваш репозиторий. Цель — сделать размер в токенах видимой метрикой, аналогично значкам размера бандла для JavaScript-библиотек, поощряя более компактные кодовые базы, которые лучше совместимы с ИИ-агентами для программирования.
Как это работает
Действие использует tiktoken для токенизации. Оно выполняет примерно 60 строк встроенного Python-кода и занимает около 10 секунд. Реализовано как составное действие.
Настройка и вывод
Размер контекстного окна настраивается, по умолчанию — 200 000 токенов (соответствует размеру моделей Claude). Цвет значка отражает процент настроенного контекстного окна, который заполняет ваша кодовая база:
- Зелёный: Менее 30%
- Жёлтый: 50-70%
- Красный: 70% и выше
Действие обновляет файл README, но не фиксирует изменения автоматически, позволяя вашему workflow контролировать стратегию работы с git.
Такой инструмент полезен разработчикам, работающим с ИИ-ассистентами, поскольку поддержание кодовой базы в пределах контекстного окна языковой модели позволяет агенту сохранять полное понимание структуры проекта и зависимостей во время выполнения задач по программированию.
📖 Read the full source: HN AI Agents
👀 Смотрите также
Каркас Scaffold решает проблемы с памятью кода и рабочими процессами Claude
Scaffold — это 17-навыковый фреймворк для Claude Code, который обеспечивает постоянную память, принудительное принятие решений и контрольные точки рабочих процессов. Он использует 3-уровневую систему маршрутизации моделей для экономии токенов и может быть установлен через меню плагинов Claude Code.
Claude создает прототип приложения для анализа недвижимости за 3 часа, используя живые данные Zillow через clawhub
Разработчик использовал Claude с инструментом zillow-full clawhub для создания приложения анализа денежного потока от аренды — получая данные через API Zillow в реальном времени, прототипируя UI на основе настоящих JSON-ответов и создав рабочий прототип за одну вторую половину дня.
Точность обоснованных ответов модели Qwen3.5-2B, дообученной с архитектурой RAG-Engram, повысилась с 50% до 93% при контексте в 8 тысяч токенов.
Разработчик дообучил модель Qwen3.5-2B с пользовательской архитектурой RAG-Engram для решения проблемы "потери в середине", улучшив процент правильных ответов при 8K токенах с 50% до 93% на реальных запросах. Система использует двухуровневый подход со статическими эмбеддингами сущностей и динамической навигацией по чанкам.
antirez的DS4：在Mac Metal和DGX上运行具有100万上下文窗口的DeepSeek V4 Flash
Создатель Redis Сальваторе Санфилиппо выпустил DS4 — проект для запуска DeepSeek V4 Flash с контекстным окном в 1M токенов на оборудовании Mac Metal и DGX, с конечными точками OpenAI/Anthropic для инструментов агентного кодирования.