OpenClaw Lokaler Agent mit TurboQuant-Caching für Mittelklasse-Hardware
Das OpenClaw-Team hat eine One-Click-Anwendung veröffentlicht, die es ermöglicht, lokale agentische Modelle auf Mittelklasse-Hardware wie dem MacBook Air mit 16 GB RAM und dem Mac Mini laufen zu lassen. Die Implementierung adressiert die Herausforderung, anspruchsvolle Agentenmodelle (wie QWEN oder GLM) auf durchschnittlicher Hardware laufen zu lassen, indem sie TurboQuant-Cache-Kompression und einen Kontextvorwärmungsprozess integriert.
Technische Implementierungsdetails
Die Lösung baut auf mehreren Schlüsselkomponenten auf:
- TurboQuant-Caching: Verwendet Tom Turneys llama.cpp TurboQuant-Implementierung, die gepatcht wurde, um korrekt mit agentischem Tool-Calling in QWEN-Modellen zu funktionieren.
- Kontext-Caching/Vorwärmung: Implementiert einen OpenClaw-spezifischen "Aufwärm"-Prozess, der einige Minuten nach dem Modellstart dauert, aber danach eine reibungslose Anfrageverarbeitung auf eingeschränkter Hardware ermöglicht.
- Modellunterstützung: Getestet mit Googles Gemma 4 Reasoning-Modell und QWEN 3.5, wobei beide ähnliche Leistung auf Standard-M4-Maschinen erzielen.
Leistungsbenchmarks
Aus Tests auf einem MacBook Air mit 16 GB Arbeitsspeicher:
- Verarbeitungsgeschwindigkeit: Sowohl Gemma 4 als auch QWEN 3.5 liefern etwa 10-15 Tokens pro Sekunde (tps)
- Geschwindigkeitsvergleich: QWEN zeigt eine leicht schnellere Leistung als Gemma 4
- Reasoning-Leistung: Vergleichbar zwischen den beiden Modellen, obwohl keines für komplexe Aufgaben oder Programmierung an Anthropic-Modelle heranreicht
- Cloud-Vergleich: Antworten sind 2-3 mal langsamer als leistungsstarke Cloud-Modelle
Praktische Anwendungen
Die Implementierung macht lokale Agenten praktikabel für:
- Alltägliche Aufgaben, bei denen Geschwindigkeit nicht kritisch ist
- Hintergrundprozesse auf erschwinglicher Hardware (z.B. 600 $ Mac Mini)
- 24/7 lokale Agentenbereitstellung, die sich innerhalb von Monaten amortisieren kann
Das Team merkt an, dass die Reasoning-Leistung für komplexe Aufgaben zwar noch nicht an erstklassige Cloud-Modelle heranreicht, dies jedoch einen bedeutenden Schritt in Richtung praktischer lokaler Agentenbereitstellung auf Consumer-Hardware darstellt.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Die Focusmo macOS App fügt einen lokalen MCP-Server für die Claude AI-Integration hinzu.
Focusmo, eine macOS-Fokus-App, enthält nun einen lokalen MCP-Server, der es Claude AI ermöglicht, auf echte Fokusdaten für wöchentliche Reviews und Planung zuzugreifen. Der Server läuft lokal auf dem Mac, ohne externe Server zu benötigen, und behält alle Daten auf dem Gerät.
Open-Source-Claude-Code-Plugin erfasst Bücher und wandelt sie in strukturiertes Markdown um
Ein Entwickler hat ein Claude Code-Plugin quelloffen gemacht, das automatisch Buchseiten per Screenshots erfasst, OCR mit macOS Vision durchführt und strukturierte Markdown-Dateien erzeugt, die nach Themen statt nach Kapitelreihenfolge organisiert sind. Das Tool unterstützt Kindle, Apple Books, Kindle Cloud Reader und gescannte PDFs auf macOS.
MartinLoop: Open-Source-Steuerungsebene für KI-Coding-Agenten mit Budgetgrenzen und Prüfpfaden
MartinLoop ist eine Open-Source-Steuerungsebene für KI-Coding-Agenten, die harte Budgetstopps, JSONL-Audit-Trails, Fehlerklassifizierung und testverifizierte Abschlussprüfungen hinzufügt.
OpenClaw Memos Plugin behebt Speicherübergabeprobleme in KI-Codierungsagenten
Ein Reddit-Nutzer teilt mit, wie der Claude-Code-Leck Probleme mit dem Speicherübergang bei KI-Codierungsagenten aufzeigte, bei denen aufgeblähte Transkripte während des Modellwechsels Probleme verursachen. Sie implementierten das Memos-Plugin in OpenClaw mit einer selektiven Abrufstrategie, um kürzliche Arbeiten zu komprimieren und veraltete Tool-Aufrufe zu entfernen.