SpruceChat läuft mit 0,5B LLM direkt auf Miyoo-Handhelds über llama.cpp
Was das ist
SpruceChat ist ein Projekt, das das Sprachmodell Qwen2.5-0.5B vollständig auf dem Gerät auf mehreren Handheld-Spielkonsolen mit llama.cpp ausführt. Nach der Erstinstallation benötigt es keine Cloud-Verbindung oder WiFi.
Wichtige Details
Das Modell befindet sich nach dem ersten Start im RAM, und Token werden während der Generierung einzeln eingelesen. Es läuft auf dem Miyoo A30, Miyoo Flip, Trimui Brick und Trimui Smart Pro.
Leistung auf dem Miyoo A30 (der einen Cortex-A7 Quad-Core-Prozessor hat):
- Modellladen: ~60 Sekunden beim ersten Start
- Generierungsgeschwindigkeit: ~1-2 Token pro Sekunde
- Prompt-Auswertung: ~3 Token pro Sekunde
Der Entwickler merkt an, dass es nicht schnell ist, aber es streamt, sodass man ihm beim Denken zusehen kann. Er erwähnt, dass 64-Bit-Geräte schneller sind.
Die KI wird als "mit der Persönlichkeit einer Fichte: geduldig, gelassen, still erstaunt über alles" beschrieben.
Wenn das Gerät mit WiFi verbunden ist, kann man auch den llama-Server über einen Browser auf einem Telefon oder Laptop aufrufen, um mit einer echten Tastatur zu chatten.
Das Repository befindet sich unter https://github.com/RED-BASE/SpruceChat. Das Projekt wurde mit Hilfe von Claude erstellt, und es arbeitet bereits ein Mitarbeiter daran, die Geräteunterstützung zu erweitern. Die erste Version ist mit sowohl armhf- als auch aarch64-Binärdateien verfügbar, und das Modell ist enthalten.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
SuperHQ: Führe KI-Codierungsagenten in isolierten MicroVM-Sandboxen aus
SuperHQ ist eine quelloffene Rust/GPUI-App, die KI-Coding-Agenten (Claude Code, OpenAI Codex, Pi) in isolierten MicroVM-Sandboxes ausführt. Jeder Agent erhält eine vollständige Debian-VM, mountet Projektverzeichnisse schreibgeschützt und hat nie Zugriff auf Host-API-Schlüssel – diese werden über einen Auth-Gateway-Proxy injiziert.
AgentWorkingMemory: Ein lokales Speichersystem für KI-Codierungsagenten
AgentWorkingMemory (AWM) ist ein lokales Speichersystem, das das Problem der Sitzungsamnesie bei KI-Codierungsagenten löst. Es verwendet eine SQLite-Datenbank, drei lokale ML-Modelle (insgesamt ~124 MB) und integriert sich automatisch über MCP, um einen persistenten, kontextbewussten Speicher über Claude-Code-Sitzungen hinweg bereitzustellen.
AutoSkillUpdate: Ein Claude-Code-Plugin, das veraltete Fähigkeiten erkennt
AutoSkillUpdate ist ein Open-Source-Claude-Code-Plugin, das Ihre Codebasis scannt, sie mit vorhandenen Skills vergleicht und Abweichungen identifiziert. Es liefert Abweichungsberichte mit Dateipfaden und Zeilenreferenzen und bietet dann an, veraltete Skills nach Benutzerbestätigung neu zu schreiben.
AnyClaw: Ubuntu 24.04 mit Android-Hardware-Zugriff und KI-Agent für die Terminalentwicklung
AnyClaw bietet eine vollständige Ubuntu 24.04-Umgebung, die in proot auf Android läuft, mit direktem Zugriff auf Android-Hardware-APIs über das Terminal, einschließlich Kamera, GPS, Akku und Sensoren über Bash-Befehle und Java-Ausführung. Es enthält einen KI-Coding-Agenten, der diese Werkzeuge orchestrieren kann, und eine Web-UI, die von jedem Browser im selben Netzwerk aus zugänglich ist.