SpruceChat exécute un LLM de 0,5 milliard de paramètres directement sur les consoles portables Miyoo grâce à llama.cpp.

Ce que c'est

SpruceChat est un projet qui exécute le modèle de langage Qwen2.5-0.5B entièrement sur l'appareil sur plusieurs consoles de jeu portables en utilisant llama.cpp. Il ne nécessite aucune connexion cloud ou WiFi après la configuration initiale.

Détails clés

Le modèle réside en RAM après le premier démarrage, et les tokens s'affichent un par un pendant la génération. Il fonctionne sur le Miyoo A30, le Miyoo Flip, le Trimui Brick et le Trimui Smart Pro.

Performances sur le Miyoo A30 (qui possède un processeur quadricœur Cortex-A7) :

• Chargement du modèle : ~60 secondes au premier démarrage
• Vitesse de génération : ~1-2 tokens par seconde
• Évaluation de l'invite : ~3 tokens par seconde

Le développeur note que ce n'est pas rapide, mais il diffuse en continu pour que vous puissiez le voir réfléchir. Il mentionne que les appareils 64 bits sont plus rapides.

L'IA est décrite comme ayant "la personnalité d'un épicéa : patient, sans hâte, tranquillement émerveillé par tout."

Si l'appareil est connecté au WiFi, vous pouvez également accéder au serveur llama depuis un navigateur sur un téléphone ou un ordinateur portable pour discuter avec un vrai clavier.

Le dépôt se trouve à https://github.com/RED-BASE/SpruceChat. Le projet a été construit avec l'aide de Claude, et il y a déjà un collaborateur qui travaille à étendre la prise en charge des appareils. La première version est disponible avec des binaires armhf et aarch64, et le modèle est inclus.