SpruceChat exécute un LLM de 0,5 milliard de paramètres directement sur les consoles portables Miyoo grâce à llama.cpp.
Ce que c'est
SpruceChat est un projet qui exécute le modèle de langage Qwen2.5-0.5B entièrement sur l'appareil sur plusieurs consoles de jeu portables en utilisant llama.cpp. Il ne nécessite aucune connexion cloud ou WiFi après la configuration initiale.
Détails clés
Le modèle réside en RAM après le premier démarrage, et les tokens s'affichent un par un pendant la génération. Il fonctionne sur le Miyoo A30, le Miyoo Flip, le Trimui Brick et le Trimui Smart Pro.
Performances sur le Miyoo A30 (qui possède un processeur quadricœur Cortex-A7) :
- Chargement du modèle : ~60 secondes au premier démarrage
- Vitesse de génération : ~1-2 tokens par seconde
- Évaluation de l'invite : ~3 tokens par seconde
Le développeur note que ce n'est pas rapide, mais il diffuse en continu pour que vous puissiez le voir réfléchir. Il mentionne que les appareils 64 bits sont plus rapides.
L'IA est décrite comme ayant "la personnalité d'un épicéa : patient, sans hâte, tranquillement émerveillé par tout."
Si l'appareil est connecté au WiFi, vous pouvez également accéder au serveur llama depuis un navigateur sur un téléphone ou un ordinateur portable pour discuter avec un vrai clavier.
Le dépôt se trouve à https://github.com/RED-BASE/SpruceChat. Le projet a été construit avec l'aide de Claude, et il y a déjà un collaborateur qui travaille à étendre la prise en charge des appareils. La première version est disponible avec des binaires armhf et aarch64, et le modèle est inclus.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Smriti : Un système similaire à Git pour gérer l'état de raisonnement des LLM afin d'éviter la dérive des conversations
Smriti est un outil open-source qui permet aux développeurs de sauvegarder, restaurer, brancher et comparer les états de raisonnement dans les conversations LLM pour éviter la dérive. Il traite les interactions comme un état plutôt que comme un historique de discussion, permettant des retours en arrière propres et une exploration alternative sans contamination.
Claude Code à l'échelle : Comment la recherche agentique évite les modes de défaillance du RAG dans les grandes bases de code
Claude Code utilise une navigation agentive du système de fichiers plutôt qu'un RAG basé sur les embeddings, éliminant les problèmes d'index obsolètes. L'article détaille cinq points d'extension (CLAUDE.md, hooks, skills, plugins, MCP) et la philosophie du harnais en tant que modèle pour les dépôts de plusieurs millions de lignes.
Comparaison d'OpenClaw et de Claude Cowork : Automatisation locale vs Flux de travail en bac à sable
OpenClaw est un agent local toujours actif qui s'exécute sur votre machine avec exécution de commandes shell et automatisation du navigateur, tandis que Claude Cowork fonctionne dans Claude Desktop dans un environnement sandboxé axé sur les tâches documentaires et de navigation.
Outil Local d'Analyse d'Images par IA Utilise des Modèles de Vision Ollama pour les Retours
Un développeur a créé une application de bureau gratuite qui analyse localement les images générées par IA à l'aide des modèles de vision Ollama. L'outil fournit des rapports de retour structurés incluant des suggestions d'amélioration et des optimisations de prompts.