KV-Cache-Wiederverwendung für lange Gespräche auf Apple Silicon ermöglicht 200-fache Beschleunigung
Was das ist
Ein Entwickler teilte experimentelle Ergebnisse zur Implementierung einer sitzungsbasierten Wiederverwendung des KV-Caches (Key-Value) für lokale LLM-Inferenz auf Apple Silicon mit dem MLX-Framework. Das Ziel war es, lange Gespräche (100K+ Tokens) praktikabel zu machen, indem die Notwendigkeit entfällt, den gesamten Kontext in jeder Runde neu zu verarbeiten.
Wichtige Erkenntnisse und Benchmarks
Der Kernansatz bestand darin, den KV-Cache über Gesprächsrunden hinweg im Speicher zu halten und nur neue Tokens zu verarbeiten. Diese einfache Idee führte zu dramatischen Leistungsverbesserungen:
- 200-fache TTFT-Verbesserung bei 100K Kontext: Ohne Cache: 126 Sekunden. Mit Cache: 0,5 Sekunden. Dies entspricht einer Reduzierung der verarbeiteten Tokens um 99,9 %.
- Praktische Sitzungszahlen: Tests mit einem Qwen3.5-397B-Modell auf einem M3 Ultra 512GB Mac Studio während einer 266-Nachrichten-OpenClaw-Agentensitzung zeigten:
- Cache-Trefferquote: 93,8 %
- TTFT für Cache-Treffer (<500 neue Tokens): 1,0–1,3 Sekunden
- TTFT für einen vollständigen Cache-Miss (124K Tokens): 528 Sekunden (8,8 Minuten)
Was nicht funktioniert hat
Der Entwickler testete mehrere Optimierungsversuche, die scheiterten oder die Leistung verschlechterten:
- Kürzen von Denk-Tokens: Der Versuch, die internen Denk-Tokens des Modells aus dem Cache zu entfernen, um Speicherplatz zu sparen, führte zu pathologischem Verhalten. Antworten wurden 31 % länger und die Qualität sank, da das Modell auf seine früheren Überlegungen über Runden hinweg Bezug nimmt.
- Rotierender KV-Cache (8192 Tokens): Obwohl dies die beste Tokens-pro-Sekunde (TPS)-Rate lieferte, führte es dazu, dass das Modell früheren Kontext verlor, wobei der Erinnerungswert deutlich sank (auf 4 von 8 Elementen).
- KV-8-Bit-Quantisierung: Dies führte zu einem TPS-Rückgang von 16,5 %, da der Rechenaufwand die Einsparungen bei der Speicherbandbreite überstieg.
Implementierung und Hardware
Die Implementierung ist Teil eines Open-Source-Persönlichen-Projekts namens SoloHeaven, verfügbar unter einer MIT-Lizenz auf GitHub: https://github.com/joongom/mlx-soloheaven. Die README enthält vollständige Benchmark-Tabellen.
Die Tests wurden auf einem Mac Studio M3 Ultra mit 512 GB RAM und 4 TB Speicher durchgeführt, wobei folgende für MLX konvertierte Modelle verwendet wurden:
- Qwen3.5-122B-A10B-bf16
- Qwen3.5-397B-A17B-MLX-8bit
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Verwendung des MCP-Code-Modus für effiziente Claude-Schlüsselwortrecherche
Ein Entwickler baute einen MCP-Server, der Claude ermöglicht, autonome Keyword-Recherche mithilfe eines Code-Modus-Musters durchzuführen, wodurch die Tool-Definitions-Tokens von Tausenden auf etwa 1.000 mit nur zwei Tools reduziert wurden: Suche und Ausführung.
oMLX führt SSD-KV-Caching für Apple Silicon ein und reduziert die Antwortzeiten von OpenClaw von 30-90 Sekunden auf 5 Sekunden.
oMLX ist ein neues Backend, das KV-Cache-Blöcke im Safetensors-Format auf der SSD speichert und so Cache-Invalidierungen bei Kontextwechseln verhindert. Dadurch reduziert sich die Antwortzeit von OpenClaw bei Folgeanfragen von 30-90 Sekunden auf 5 Sekunden.
Claude Code hat Treelo gebaut: Ein kostenloses Videotranskriptions-Tool
Ein Videoeditor nutzte Claude Code, um Treelo zu erstellen – ein kostenloses Tool, das Video-/Audiodateien transkribiert, Füllwörter entfernt, die Platzierung von Soundeffekten (SFX) zu exakten Zeitstempeln ermöglicht und SRT für Premiere oder ASS für DaVinci Resolve exportiert.
AGI in md: 11 kognitive Komprimierungsstufen für Claude-Systemprompts
Ein GitHub-Repository dokumentiert 11 Stufen kognitiver Kompression, die in Claude-Systemprompts kodiert werden können, wobei Stufe 8 von der Analyse zur Konstruktion wechselt und Haikus Leistung von 0/3 auf 4/4 verbessert. Das Projekt umfasst 28 Prompts, 299 Rohausgaben und vollständige Experimentprotokolle über 19 Domänen hinweg.