Диагностика кэша подсказок Claude: анализ статистики показывает 98,9% коэффициент чтения из кэша

Два дня назад Anthropic выпустила функцию диагностики кэша промптов в Claude Console. Это инструмент для разработчиков, позволяющий понять, почему запрос не попадает в кэш, и снизить затраты. Один разработчик (u/samuelroy_) поделился своей статистикой в ветке сообщества, стремясь найти закономерности и улучшить производительность кэша в целом.

Ключевая статистика из источника

• Общий коэффициент попаданий в кэш: 98,9%
• 80% промахов кэша связаны с messages changed.
• Амортизация записи для Sonnet: 3,69x

Разработчик отметил, что его проект спроектирован так, чтобы только добавлять сообщения в историю, поэтому высокая доля промахов из-за messages changed оказалась неожиданной. Вероятное объяснение — пользователи разветвляют беседы, что изменяет цепочку сообщений.

Что это значит

Кэширование промптов снижает стоимость и задержку. При коэффициенте попаданий 98,9% разработчик уже эффективен, но диагностические данные показывают четкую область для улучшения: уменьшение ненужных изменений сообщений. Если вы видите похожие паттерны, аудит того, как разветвляются или редактируются беседы, может повысить коэффициент попаданий в кэш.

Для справки: амортизация записи (3,69x для Sonnet) показывает, сколько раз запись кэша выполняется относительно чтений. Меньшее значение — лучше.

Такая аналитика от первого лица — шаг вперед в оптимизации затрат на AI API. Ожидается, что другие провайдеры последуют этому примеру.