SpruceChat läuft mit 0,5B LLM direkt auf Miyoo-Handhelds über llama.cpp

Was das ist
SpruceChat ist ein Projekt, das das Sprachmodell Qwen2.5-0.5B vollständig auf dem Gerät auf mehreren Handheld-Spielkonsolen mit llama.cpp ausführt. Nach der Erstinstallation benötigt es keine Cloud-Verbindung oder WiFi.
Wichtige Details
Das Modell befindet sich nach dem ersten Start im RAM, und Token werden während der Generierung einzeln eingelesen. Es läuft auf dem Miyoo A30, Miyoo Flip, Trimui Brick und Trimui Smart Pro.
Leistung auf dem Miyoo A30 (der einen Cortex-A7 Quad-Core-Prozessor hat):
- Modellladen: ~60 Sekunden beim ersten Start
- Generierungsgeschwindigkeit: ~1-2 Token pro Sekunde
- Prompt-Auswertung: ~3 Token pro Sekunde
Der Entwickler merkt an, dass es nicht schnell ist, aber es streamt, sodass man ihm beim Denken zusehen kann. Er erwähnt, dass 64-Bit-Geräte schneller sind.
Die KI wird als "mit der Persönlichkeit einer Fichte: geduldig, gelassen, still erstaunt über alles" beschrieben.
Wenn das Gerät mit WiFi verbunden ist, kann man auch den llama-Server über einen Browser auf einem Telefon oder Laptop aufrufen, um mit einer echten Tastatur zu chatten.
Das Repository befindet sich unter https://github.com/RED-BASE/SpruceChat. Das Projekt wurde mit Hilfe von Claude erstellt, und es arbeitet bereits ein Mitarbeiter daran, die Geräteunterstützung zu erweitern. Die erste Version ist mit sowohl armhf- als auch aarch64-Binärdateien verfügbar, und das Modell ist enthalten.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch

AI-Setup CLI-Tool generiert automatisch KI-Konfigurationsdateien für lokale LLM-Stacks
AI-Setup ist ein CLI-Tool, das Codebasen scannt und automatisch KI-Konfigurationsdateien wie .cursorrules und claude.md generiert. Es erkennt Ihren Tech-Stack, um manuelles Regel-Schreiben für jedes neue Projekt zu vermeiden.

WebClaw: Open-Source MCP-Server für Web-Extraktion mit Claude
WebClaw ist ein quelloffener MCP-Server, der mit Claude Code entwickelt wurde und Web-Extraktionstools für Claude Desktop und Claude Code bereitstellt. Er löst die Einschränkungen von Claudes integriertem web_fetch durch TLS-Fingerprinting und Inhaltsoptimierung.

Claude IDE Bridge: MCP-Tool für Remote-Editor-Zugriff
Claude IDE Bridge ist ein Open-Source-Tool, das Claude AI über MCP (Model Context Protocol) Fernsteuerungszugriff auf Code-Editoren ermöglicht. Es stellt Editor-Wissen wie Live-Typinformationen und Debugger-Status als aufrufbare Werkzeuge zur Verfügung.

CodeLedger und Vibecop Updates für Multi-Agent AI-Codierungskosten- und Qualitätsverfolgung
CodeLedger verfolgt jetzt Ausgaben über Claude Code, Codex CLI, Cline und Gemini CLI, indem es lokale Sitzungsdateien ausliest, während Vibecop automatisierte Qualitätsprüfungen mit neuen LLM-spezifischen Detektoren und einem Ein-Befehl-Setup für mehrere KI-Codierungstools hinzufügt.