Повторное использование кэша ключей-значений для длинных диалогов на Apple Silicon обеспечивает ускорение в 200 раз

Что это такое
Разработчик поделился экспериментальными результатами по реализации повторного использования кэша KV (ключ-значение) на основе сессий для локального вывода LLM на Apple Silicon с использованием фреймворка MLX. Целью было сделать длинные разговоры (100K+ токенов) практичными, устранив необходимость переобработки всего контекста на каждом шаге.
Ключевые результаты и бенчмарки
Основной подход заключался в сохранении кэша KV в памяти между поворотами разговора и обработке только новых токенов. Эта простая идея привела к впечатляющему улучшению производительности:
- 200-кратное улучшение TTFT при контексте 100K: Без кэша: 126 секунд. С кэшем: 0.5 секунды. Это представляет собой 99.9% сокращение обработанных токенов.
- Реальные показатели сессии: Тестирование с моделью Qwen3.5-397B на Mac Studio M3 Ultra 512GB во время 266-сообщенийной сессии агента OpenClaw показало:
- Процент попаданий в кэш: 93.8%
- TTFT для попаданий в кэш (<500 новых токенов): 1.0-1.3 секунды
- TTFT для полного промаха кэша (124K токенов): 528 секунд (8.8 минут)
Что не сработало
Разработчик протестировал несколько попыток оптимизации, которые не увенчались успехом или ухудшили производительность:
- Обрезка токенов мышления: Попытка удалить внутренние токены рассуждения модели из кэша для экономии места вызвала патологическое поведение. Ответы стали на 31% длиннее, а качество снизилось, поскольку модель ссылается на свои прошлые рассуждения между шагами.
- Вращающийся кэш KV (8192 токена): Хотя это обеспечило наилучшую скорость токенов в секунду (TPS), это привело к потере моделью более раннего контекста, при этом показатель запоминания значительно упал (до 4 из 8 элементов).
- 8-битная квантизация KV: Это привело к падению TPS на 16.5%, так как вычислительные накладные расходы превысили экономию пропускной способности памяти.
Реализация и оборудование
Реализация является частью открытого личного проекта под названием SoloHeaven, доступного по лицензии MIT на GitHub: https://github.com/joongom/mlx-soloheaven. README содержит полные таблицы бенчмарков.
Тестирование проводилось на Mac Studio M3 Ultra с 512 ГБ ОЗУ и 4 ТБ хранилища с использованием следующих моделей, конвертированных для MLX:
- Qwen3.5-122B-A10B-bf16
- Qwen3.5-397B-A17B-MLX-8bit
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

EsoLang-Bench: Бенчмарк для программирования с использованием эзотерических языков для проверки логики языковых моделей
Исследователи создали EsoLang-Bench, кодирующий бенчмарк, использующий эзотерические языки программирования, такие как Brainfuck и Whitespace, чтобы проверить, могут ли LLM рассуждать или просто сопоставлять шаблоны. Лучший результат среди GPT-5.2, O4-mini, Gemini, Qwen и Kimi составил 11,2%.

克劳德设计与华数设计:HTML布局与速率限制的对决
Claude Design быстро создает HTML-прототипы, но быстро упирается в лимиты. Huashu-Design, открытый навык Claude Code, работает по обычной подписке без отдельного лимита, но занимает 20 минут вместо 5.
Хирургическое извлечение из GitHub: навык Claude для получения одной функции, а не всего репозитория
Новый навык Claude с открытым исходным кодом под названием surgical-github-extraction не позволяет Claude Code клонировать целые репозитории, когда вам нужна всего одна функция или шаблон. Он читает README, извлекает 1–3 исходных файла и выделяет наименьший полезный модуль с комментарием о происхождении.

Эффективное управление токенами с помощью открытых MCP-серверов: Pare
Серверы Pare MCP сокращают растрату токенов и повышают эффективность, когда агенты ИИ кодирования используют инструменты разработчика, предоставляя структурированный вывод.