Анализ расхода токенов в контекстном окне Claude на 1 млн: данные показывают неограниченный рост и накопление промахов кэша.

Анализ расхода токенов на основе реальных данных

Детальный анализ реализации контекстного окна Claude в 1 млн токенов выявил конкретные технические факторы, вызывающие быстрое потребление токенов. Автор проанализировал JSONL-файлы сессий из нескольких диалогов, чтобы выявить закономерности.

Ключевые выводы из данных

Неограниченный рост контекста: До внедрения контекстного окна в 1 млн токенов автоматическое уплотнение срабатывало примерно при 160 тыс. токенов. После внедрения 1 млн этот предел исчез, позволяя сессиям регулярно достигать 500+ тыс. токенов. Каждый запрос повторно отправляет весь контекст, что означает, что при 500 тыс. токенов даже простое подтверждение стоит 500 тыс. токенов. Если Claude делает 3 вызова инструментов для ответа на запрос, это 1,5 млн токенов за одно взаимодействие.

Накопление промахов кэша: Anthropic кэширует контекст на стороне сервера примерно на 5 минут. После этого окна следующий запрос повторно обрабатывает полный контекст примерно в 10 раз дороже, чем из кэша. Хотя частота промахов кэша не изменилась (оставаясь около 2,5% ходов), промах кэша при контексте в 500 тыс. токенов значительно дороже, чем при 150 тыс. токенов.

Инструмент анализа

Автор создал скрипт на Python, который анализирует количество токенов из JSONL-файлов сессий Claude без доступа к содержимому диалогов. Скрипт автоматически определяет вашу директорию данных Claude и требует matplotlib и numpy. Скрипт доступен по адресу: https://github.com/RyanSeanPhillips/cldctrl/blob/master/docs/context_analysis.py

Автор также упоминает CLD CTRL (https://github.com/RyanSeanPhillips/cldctrl), терминальную панель управления для запуска и мониторинга сессий Claude Code, использования токенов и активности проектов.