Измерение стека MCP Claude Code: дружественность к кэшу против экономии байтов и двухстрочное исправление для кэша подсказок

При оптимизации стека Claude Code MCP легко сосредоточиться на одном показателе: экономии байтов. Но новый анализ Грега Шевченко показывает, что бенчмарк по одной оси может рекомендовать систему, которая строго хуже в продакшне. Недостающая ось: кэш-дружественность, т.е. создаёт ли один и тот же ввод байтово идентичные данные между запусками, чтобы срабатывал кэш подсказок Anthropic.

Самый эффективный по экономии байтов инструмент Шевченко — MCP для извлечения, сокращающий контекст на 60–70%, — на самом деле нарушал кэш подсказок с TTL 5 минут при каждом вызове. Два запуска одного запроса давали разные байты, потому что порядок вывода rg --files-with-matches просачивался через последовательность вставки в Map в итоговый контекст. Исправление заняло две строки: сортировка результатов rg перед обрезкой и сортировка записей Map по пути. После изменения экономия байтов осталась прежней, но cache_friendly_score вырос с ~0% до 100%.

Что измеряет стенд

Шевченко опубликовал открытый тестовый стенд (Python только со стандартной библиотекой, офлайн), который измеряет:

• Среднее отношение + CV по N≥5 запускам на фикстуру → ось экономии байтов
• Проверка уникальных MD5 == 1 → ось кэш-дружественности (0–100%)
• Аудит 12 антипаттернов в определениях инструментов (ссылка на DSA)

Любой компрессор в виде (str) -> str можно подключить. Стенд использует кластерные бутстрап-доверительные интервалы, интервалы Уилсона, предрегистрацию и каппу Коэна на реальных данных.

Обзор публичных альтернатив

Шевченко изучил публичную документацию: индекс кодовой базы Cursor, Sourcegraph Cody, карта репозитория Aider, Microsoft LLMLingua/LLMLingua-2, Firecrawl/Jina Reader, RouteLLM/Martian (по состоянию на май 2026). Ни один из них не раскрывает метрики кэш-дружественности.

Ограничения

Он выдвинул гипотезу, что слой подготовки вызывает больше последующих попаданий в кэш, но она не достигла статистической значимости (Welch p=0.32, d Коэна≈0.18, N=137). Каппа Коэна для двух судей на корпусе составила 0.5955 (умеренная, ниже порога 0.7), причём 4 из 5 разногласий пришлись на одну неоднозначную задачу — исправление спецификации повысило бы каппу до ~0.83.

Стенд распространяется под лицензией MIT. Если вы используете стек Claude Code MCP, измерение cache_friendly_score — это конкретный и практичный шаг.