La Reutilización de la Caché KV para Conversaciones Largas en Apple Silicon Logra una Aceleración de 200 Veces
Qué es Esto
Un desarrollador compartió resultados experimentales de implementar la reutilización de caché KV (clave-valor) basada en sesiones para inferencia de LLM local en Apple Silicon utilizando el framework MLX. El objetivo era hacer conversaciones largas (100K+ tokens) prácticas eliminando la necesidad de reprocesar todo el contexto en cada turno.
Hallazgos Clave y Puntos de Referencia
El enfoque central consistió en mantener la caché KV en memoria a lo largo de los turnos de conversación y procesar solo los tokens nuevos. Esta idea simple produjo mejoras dramáticas en el rendimiento:
- Mejora de 200x en TTFT con Contexto de 100K: Sin caché: 126 segundos. Con caché: 0.5 segundos. Esto representa una reducción del 99.9% en tokens procesados.
- Números de Sesión del Mundo Real: Pruebas con un modelo Qwen3.5-397B en un Mac Studio M3 Ultra 512GB durante una sesión de agente OpenClaw de 266 mensajes mostraron:
- Tasa de aciertos de caché: 93.8%
- TTFT para aciertos de caché (<500 tokens nuevos): 1.0-1.3 segundos
- TTFT para un fallo completo de caché (124K tokens): 528 segundos (8.8 minutos)
Lo que No Funcionó
El desarrollador probó varios intentos de optimización que fallaron o degradaron el rendimiento:
- Recorte de Tokens de Pensamiento: Intentar eliminar los tokens de razonamiento interno del modelo de la caché para ahorrar espacio causó un comportamiento patológico. Las respuestas se volvieron un 31% más largas y la calidad disminuyó, ya que el modelo hace referencia a su razonamiento pasado a lo largo de los turnos.
- Rotación de Caché KV (8192 tokens): Si bien esto proporcionó la mejor tasa de tokens por segundo (TPS), hizo que el modelo perdiera contexto anterior, con una caída significativa en el recuerdo (a 4 de 8 elementos).
- Cuantización de 8 bits de KV: Esto resultó en una caída del 16.5% en TPS, ya que la sobrecarga computacional superó los ahorros de ancho de banda de memoria.
Implementación y Hardware
La implementación es parte de un proyecto personal de código abierto llamado SoloHeaven, disponible bajo licencia MIT en GitHub: https://github.com/joongom/mlx-soloheaven. El README contiene tablas completas de puntos de referencia.
Las pruebas se realizaron en un Mac Studio M3 Ultra con 512GB de RAM y 4TB de almacenamiento, utilizando los siguientes modelos convertidos para MLX:
- Qwen3.5-122B-A10B-bf16
- Qwen3.5-397B-A17B-MLX-8bit
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Kit de Herramientas CLI de Claude Code: Cuatro Herramientas para Revisión de Código, Resúmenes de Proyecto y Auto-Registro con Git Hooks
Un desarrollador ha lanzado cuatro herramientas CLI construidas alrededor del modo de impresión de Claude Code que manejan revisiones de código, generación de resúmenes de proyectos, ganchos de git para auto-registro y estado de sesión de Claude. Las herramientas utilizan la autenticación existente de Claude Code y están disponibles como código abierto.
Construyendo un Sistema de Conocimiento Automejorable con Claude Code y Obsidian
Un desarrollador construyó un sistema de 25 herramientas que le da a Claude Code memoria persistente mediante búsqueda semántica, grafos de conocimiento y repetición espaciada sobre una bóveda de Obsidian. El sistema indexa contenido con incrustaciones bge-m3, detecta contradicciones, poda automáticamente notas obsoletas y genera mapas de Obsidian Canvas de forma automática.
Steerling-8B: Un modelo de lenguaje interpretable con atribución a nivel de token
Guide Labs lanzó Steerling-8B, un modelo de lenguaje de 8 mil millones de parámetros entrenado en 1.35 billones de tokens que puede rastrear cualquier token generado hasta el contexto de entrada, conceptos comprensibles para humanos y fuentes de datos de entrenamiento. El modelo logra un rendimiento competitivo con modelos entrenados con 2-7× más datos.
La bifurcación vllm-mlx añade llamadas a herramientas y caché de prompts para agentes de IA de codificación local.
Un desarrollador ha modificado vllm-mlx para corregir problemas de llamadas a herramientas y agregar caché de prompts, reduciendo el TTFT de 28s a 0.3s para OpenClaw en Apple Silicon. El fork soporta Qwen3-Coder-Next a 65 tok/s en M3 Ultra con llamadas a funciones funcionales.