Повторное использование кэша ключей-значений для длинных диалогов на Apple Silicon обеспечивает ускорение в 200 раз

Что это такое
Разработчик поделился экспериментальными результатами по реализации повторного использования кэша KV (ключ-значение) на основе сессий для локального вывода LLM на Apple Silicon с использованием фреймворка MLX. Целью было сделать длинные разговоры (100K+ токенов) практичными, устранив необходимость переобработки всего контекста на каждом шаге.
Ключевые результаты и бенчмарки
Основной подход заключался в сохранении кэша KV в памяти между поворотами разговора и обработке только новых токенов. Эта простая идея привела к впечатляющему улучшению производительности:
- 200-кратное улучшение TTFT при контексте 100K: Без кэша: 126 секунд. С кэшем: 0.5 секунды. Это представляет собой 99.9% сокращение обработанных токенов.
- Реальные показатели сессии: Тестирование с моделью Qwen3.5-397B на Mac Studio M3 Ultra 512GB во время 266-сообщенийной сессии агента OpenClaw показало:
- Процент попаданий в кэш: 93.8%
- TTFT для попаданий в кэш (<500 новых токенов): 1.0-1.3 секунды
- TTFT для полного промаха кэша (124K токенов): 528 секунд (8.8 минут)
Что не сработало
Разработчик протестировал несколько попыток оптимизации, которые не увенчались успехом или ухудшили производительность:
- Обрезка токенов мышления: Попытка удалить внутренние токены рассуждения модели из кэша для экономии места вызвала патологическое поведение. Ответы стали на 31% длиннее, а качество снизилось, поскольку модель ссылается на свои прошлые рассуждения между шагами.
- Вращающийся кэш KV (8192 токена): Хотя это обеспечило наилучшую скорость токенов в секунду (TPS), это привело к потере моделью более раннего контекста, при этом показатель запоминания значительно упал (до 4 из 8 элементов).
- 8-битная квантизация KV: Это привело к падению TPS на 16.5%, так как вычислительные накладные расходы превысили экономию пропускной способности памяти.
Реализация и оборудование
Реализация является частью открытого личного проекта под названием SoloHeaven, доступного по лицензии MIT на GitHub: https://github.com/joongom/mlx-soloheaven. README содержит полные таблицы бенчмарков.
Тестирование проводилось на Mac Studio M3 Ultra с 512 ГБ ОЗУ и 4 ТБ хранилища с использованием следующих моделей, конвертированных для MLX:
- Qwen3.5-122B-A10B-bf16
- Qwen3.5-397B-A17B-MLX-8bit
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Когнитор: Локально-ориентированная агентная ОС с архитектурой PGE Trinity
Cognithor — это полностью локальная, автономная операционная система для агентов, разработанная за год в 16 этапов. Она использует архитектуру PGE Trinity (Планировщик → Контролёр → Исполнитель), включает более 11 609 тестов с покрытием 89% и поддерживает 16 провайдеров LLM, включая Ollama и LM Studio.

Ctxpact: Прокси-компрессор контекста для локальных LLM
Ctxpact — это совместимый с OpenAI прокси, который сжимает слишком большие входные данные для локальных LLM с окном контекста 16k, используя трёхэтапный конвейер, включающий стратегии DCP, суммаризации и извлечения. Бенчмарки показывают сжатие 110k токенов до 12k с точностью понимания прочитанного 8/8.

HTML-артефакты заменяют Google Документы для технической документации, но им не хватает комментирования
Артефакты HTML, созданные Claude, заменяют Google Docs для длинных технических документов, таких как отчёты о внезапных задачах и архитектурные заметки, но изолированный iframe не позволяет добавлять встроенные комментарии и функции рецензирования.

Vibeyard: Панель управления с открытым исходным кодом, запускающая сессии Claude из PR, задач и канбан-карточек
Vibeyard — это open-source (MIT) домашний экран с перетаскиваемыми виджетами для PR, задач, канбана и сессий Claude. Нажмите на любую карточку, чтобы открыть предварительно настроенную сессию Claude Code для проверки, планирования исправлений или возобновления работы.