SpruceChat ejecuta un modelo de lenguaje de 0.5B en el dispositivo en las consolas portátiles Miyoo mediante llama.cpp.

Qué es esto

SpruceChat es un proyecto que ejecuta el modelo de lenguaje Qwen2.5-0.5B completamente en el dispositivo en varias consolas de juegos portátiles usando llama.cpp. No requiere conexión a la nube ni WiFi después de la configuración inicial.

Detalles clave

El modelo reside en la RAM después del primer arranque, y los tokens se transmiten uno por uno durante la generación. Funciona en el Miyoo A30, Miyoo Flip, Trimui Brick y Trimui Smart Pro.

Rendimiento en el Miyoo A30 (que tiene un procesador Cortex-A7 de cuatro núcleos):

• Carga del modelo: ~60 segundos en el primer arranque
• Velocidad de generación: ~1-2 tokens por segundo
• Evaluación de la entrada: ~3 tokens por segundo

El desarrollador señala que no es rápido, pero transmite para que puedas verlo pensar. Mencionan que los dispositivos de 64 bits son más rápidos.

La IA se describe como que tiene "la personalidad de un abeto: paciente, sin prisa, silenciosamente asombrada por todo".

Si el dispositivo está en WiFi, también puedes acceder al servidor llama desde un navegador en un teléfono o portátil para chatear con un teclado real.

El repositorio está en https://github.com/RED-BASE/SpruceChat. El proyecto se construyó con ayuda de Claude, y ya hay un colaborador trabajando en expandir el soporte de dispositivos. La primera versión está disponible con binarios tanto armhf como aarch64, y el modelo está incluido.