KV-Cache-Wiederverwendung für lange Gespräche auf Apple Silicon ermöglicht 200-fache Beschleunigung

Was das ist

Ein Entwickler teilte experimentelle Ergebnisse zur Implementierung einer sitzungsbasierten Wiederverwendung des KV-Caches (Key-Value) für lokale LLM-Inferenz auf Apple Silicon mit dem MLX-Framework. Das Ziel war es, lange Gespräche (100K+ Tokens) praktikabel zu machen, indem die Notwendigkeit entfällt, den gesamten Kontext in jeder Runde neu zu verarbeiten.

Wichtige Erkenntnisse und Benchmarks

Der Kernansatz bestand darin, den KV-Cache über Gesprächsrunden hinweg im Speicher zu halten und nur neue Tokens zu verarbeiten. Diese einfache Idee führte zu dramatischen Leistungsverbesserungen:

• 200-fache TTFT-Verbesserung bei 100K Kontext: Ohne Cache: 126 Sekunden. Mit Cache: 0,5 Sekunden. Dies entspricht einer Reduzierung der verarbeiteten Tokens um 99,9 %.
• Praktische Sitzungszahlen: Tests mit einem Qwen3.5-397B-Modell auf einem M3 Ultra 512GB Mac Studio während einer 266-Nachrichten-OpenClaw-Agentensitzung zeigten:
  • Cache-Trefferquote: 93,8 %
  • TTFT für Cache-Treffer (<500 neue Tokens): 1,0–1,3 Sekunden
  • TTFT für einen vollständigen Cache-Miss (124K Tokens): 528 Sekunden (8,8 Minuten)

Was nicht funktioniert hat

Der Entwickler testete mehrere Optimierungsversuche, die scheiterten oder die Leistung verschlechterten:

• Kürzen von Denk-Tokens: Der Versuch, die internen Denk-Tokens des Modells aus dem Cache zu entfernen, um Speicherplatz zu sparen, führte zu pathologischem Verhalten. Antworten wurden 31 % länger und die Qualität sank, da das Modell auf seine früheren Überlegungen über Runden hinweg Bezug nimmt.
• Rotierender KV-Cache (8192 Tokens): Obwohl dies die beste Tokens-pro-Sekunde (TPS)-Rate lieferte, führte es dazu, dass das Modell früheren Kontext verlor, wobei der Erinnerungswert deutlich sank (auf 4 von 8 Elementen).
• KV-8-Bit-Quantisierung: Dies führte zu einem TPS-Rückgang von 16,5 %, da der Rechenaufwand die Einsparungen bei der Speicherbandbreite überstieg.

Implementierung und Hardware

Die Implementierung ist Teil eines Open-Source-Persönlichen-Projekts namens SoloHeaven, verfügbar unter einer MIT-Lizenz auf GitHub: https://github.com/joongom/mlx-soloheaven. Die README enthält vollständige Benchmark-Tabellen.

Die Tests wurden auf einem Mac Studio M3 Ultra mit 512 GB RAM und 4 TB Speicher durchgeführt, wobei folgende für MLX konvertierte Modelle verwendet wurden:

• Qwen3.5-122B-A10B-bf16
• Qwen3.5-397B-A17B-MLX-8bit