SpruceChat läuft mit 0,5B LLM direkt auf Miyoo-Handhelds über llama.cpp

Was das ist

SpruceChat ist ein Projekt, das das Sprachmodell Qwen2.5-0.5B vollständig auf dem Gerät auf mehreren Handheld-Spielkonsolen mit llama.cpp ausführt. Nach der Erstinstallation benötigt es keine Cloud-Verbindung oder WiFi.

Wichtige Details

Das Modell befindet sich nach dem ersten Start im RAM, und Token werden während der Generierung einzeln eingelesen. Es läuft auf dem Miyoo A30, Miyoo Flip, Trimui Brick und Trimui Smart Pro.

Leistung auf dem Miyoo A30 (der einen Cortex-A7 Quad-Core-Prozessor hat):

• Modellladen: ~60 Sekunden beim ersten Start
• Generierungsgeschwindigkeit: ~1-2 Token pro Sekunde
• Prompt-Auswertung: ~3 Token pro Sekunde

Der Entwickler merkt an, dass es nicht schnell ist, aber es streamt, sodass man ihm beim Denken zusehen kann. Er erwähnt, dass 64-Bit-Geräte schneller sind.

Die KI wird als "mit der Persönlichkeit einer Fichte: geduldig, gelassen, still erstaunt über alles" beschrieben.

Wenn das Gerät mit WiFi verbunden ist, kann man auch den llama-Server über einen Browser auf einem Telefon oder Laptop aufrufen, um mit einer echten Tastatur zu chatten.

Das Repository befindet sich unter https://github.com/RED-BASE/SpruceChat. Das Projekt wurde mit Hilfe von Claude erstellt, und es arbeitet bereits ein Mitarbeiter daran, die Geräteunterstützung zu erweitern. Die erste Version ist mit sowohl armhf- als auch aarch64-Binärdateien verfügbar, und das Modell ist enthalten.