KV-Cache-Wiederverwendung für lange Gespräche auf Apple Silicon ermöglicht 200-fache Beschleunigung
Was das ist
Ein Entwickler teilte experimentelle Ergebnisse zur Implementierung einer sitzungsbasierten Wiederverwendung des KV-Caches (Key-Value) für lokale LLM-Inferenz auf Apple Silicon mit dem MLX-Framework. Das Ziel war es, lange Gespräche (100K+ Tokens) praktikabel zu machen, indem die Notwendigkeit entfällt, den gesamten Kontext in jeder Runde neu zu verarbeiten.
Wichtige Erkenntnisse und Benchmarks
Der Kernansatz bestand darin, den KV-Cache über Gesprächsrunden hinweg im Speicher zu halten und nur neue Tokens zu verarbeiten. Diese einfache Idee führte zu dramatischen Leistungsverbesserungen:
- 200-fache TTFT-Verbesserung bei 100K Kontext: Ohne Cache: 126 Sekunden. Mit Cache: 0,5 Sekunden. Dies entspricht einer Reduzierung der verarbeiteten Tokens um 99,9 %.
- Praktische Sitzungszahlen: Tests mit einem Qwen3.5-397B-Modell auf einem M3 Ultra 512GB Mac Studio während einer 266-Nachrichten-OpenClaw-Agentensitzung zeigten:
- Cache-Trefferquote: 93,8 %
- TTFT für Cache-Treffer (<500 neue Tokens): 1,0–1,3 Sekunden
- TTFT für einen vollständigen Cache-Miss (124K Tokens): 528 Sekunden (8,8 Minuten)
Was nicht funktioniert hat
Der Entwickler testete mehrere Optimierungsversuche, die scheiterten oder die Leistung verschlechterten:
- Kürzen von Denk-Tokens: Der Versuch, die internen Denk-Tokens des Modells aus dem Cache zu entfernen, um Speicherplatz zu sparen, führte zu pathologischem Verhalten. Antworten wurden 31 % länger und die Qualität sank, da das Modell auf seine früheren Überlegungen über Runden hinweg Bezug nimmt.
- Rotierender KV-Cache (8192 Tokens): Obwohl dies die beste Tokens-pro-Sekunde (TPS)-Rate lieferte, führte es dazu, dass das Modell früheren Kontext verlor, wobei der Erinnerungswert deutlich sank (auf 4 von 8 Elementen).
- KV-8-Bit-Quantisierung: Dies führte zu einem TPS-Rückgang von 16,5 %, da der Rechenaufwand die Einsparungen bei der Speicherbandbreite überstieg.
Implementierung und Hardware
Die Implementierung ist Teil eines Open-Source-Persönlichen-Projekts namens SoloHeaven, verfügbar unter einer MIT-Lizenz auf GitHub: https://github.com/joongom/mlx-soloheaven. Die README enthält vollständige Benchmark-Tabellen.
Die Tests wurden auf einem Mac Studio M3 Ultra mit 512 GB RAM und 4 TB Speicher durchgeführt, wobei folgende für MLX konvertierte Modelle verwendet wurden:
- Qwen3.5-122B-A10B-bf16
- Qwen3.5-397B-A17B-MLX-8bit
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
OpenClaw Alexa Voice Proxy ermöglicht bidirektionale Sprachinteraktion
openclaw-alexa-voice ist ein Node.js-Proxy, der eine Alexa Custom Skill mit dem OpenClaw-Gateway verbindet und ein dreistufiges Antwortsystem für Sprachabfragen bietet. Er verarbeitet schnelle Antworten unter 1 Sekunde, Agentenantworten unter 12 Sekunden und zurückgestellte komplexe Abfragen, die asynchron innerhalb von 2 Minuten bearbeitet werden.
OpenClaw Memos Plugin behebt Speicherübergabeprobleme in KI-Codierungsagenten
Ein Reddit-Nutzer teilt mit, wie der Claude-Code-Leck Probleme mit dem Speicherübergang bei KI-Codierungsagenten aufzeigte, bei denen aufgeblähte Transkripte während des Modellwechsels Probleme verursachen. Sie implementierten das Memos-Plugin in OpenClaw mit einer selektiven Abrufstrategie, um kürzliche Arbeiten zu komprimieren und veraltete Tool-Aufrufe zu entfernen.
Der Human Creativity Benchmark: Trennung von Konvergenz und Divergenz in der KI-Kreativitätsbewertung
Contra Labs führt den Human Creativity Benchmark (HCB) ein, ein Framework, das objektiv überprüfbare Kriterien (z. B. Einhaltung der Aufgabenstellung) von subjektivem Geschmack (z. B. visuelle Anziehungskraft) bei der Bewertung generativer KI für kreative Arbeiten unterscheidet. Der Benchmark zeigt, dass kein aktuelles Modell zuverlässig sowohl korrekt als auch steuerbar ist, und adressiert Mode Collapse sowie die Notwendigkeit differenzierter Ergebnisse.
OpenClaw iOS-App fügt historische Apple Health-Daten-Synchronisation bis zu 18 Monate hinzu
Die neueste Version der OpenClaw iOS-App ermöglicht den Export historischer Apple Health-Daten, sodass Benutzer bis zu 18 Monate Gesundheitsdaten mit ihrem Agent synchronisieren können, um personalisierte Einblicke oder KI-Training zu erhalten.