SpruceChat ejecuta un modelo de lenguaje de 0.5B en el dispositivo en las consolas portátiles Miyoo mediante llama.cpp.
Qué es esto
SpruceChat es un proyecto que ejecuta el modelo de lenguaje Qwen2.5-0.5B completamente en el dispositivo en varias consolas de juegos portátiles usando llama.cpp. No requiere conexión a la nube ni WiFi después de la configuración inicial.
Detalles clave
El modelo reside en la RAM después del primer arranque, y los tokens se transmiten uno por uno durante la generación. Funciona en el Miyoo A30, Miyoo Flip, Trimui Brick y Trimui Smart Pro.
Rendimiento en el Miyoo A30 (que tiene un procesador Cortex-A7 de cuatro núcleos):
- Carga del modelo: ~60 segundos en el primer arranque
- Velocidad de generación: ~1-2 tokens por segundo
- Evaluación de la entrada: ~3 tokens por segundo
El desarrollador señala que no es rápido, pero transmite para que puedas verlo pensar. Mencionan que los dispositivos de 64 bits son más rápidos.
La IA se describe como que tiene "la personalidad de un abeto: paciente, sin prisa, silenciosamente asombrada por todo".
Si el dispositivo está en WiFi, también puedes acceder al servidor llama desde un navegador en un teléfono o portátil para chatear con un teclado real.
El repositorio está en https://github.com/RED-BASE/SpruceChat. El proyecto se construyó con ayuda de Claude, y ya hay un colaborador trabajando en expandir el soporte de dispositivos. La primera versión está disponible con binarios tanto armhf como aarch64, y el modelo está incluido.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Pruebas de referencia de tonterías: resistencia de LLM a indicaciones sin sentido
El Bullshit Benchmark evalúa si los modelos de IA identifican y rechazan indicaciones obviamente absurdas en lugar de generar respuestas incorrectas con confianza. Los resultados muestran que los modelos Claude tienen un rendimiento significativamente mejor que los modelos Gemini en la detección de preguntas sin sentido.
Habilidad OpenClaw para Transcripción de Reuniones Locales con Whisper
Una nueva habilidad de OpenClaw llamada ghostmeet proporciona transcripción local de reuniones usando Whisper. Captura audio de pestañas del navegador mediante una extensión de Chrome y puede generar resúmenes usando Claude, procesando todo el audio y la transcripción localmente en tu máquina.
Comparación de 14 Variantes del Agente de IA Claw en 10 Categorías
Una comparación detallada de 14 variantes populares de agentes de IA Claw, incluyendo OpenClaw, NanoClaw, NemoClaw, ZeroClaw, PicoClaw, Moltis, IronClaw y NullClaw, evaluadas a través de 53 subparámetros con clasificaciones compuestas y casos de uso ideales para cada una.
Deblank: Herramienta para Eliminar el Formato de Código y Reducir Tokens en LLM
Deblank es una herramienta de código abierto que elimina el formato del código (sangría, espacios en blanco, saltos de línea) antes de enviarlo a LLMs, reduciendo tokens en aproximadamente un 30% para Java/C++ y un 9% para Python con una latencia de ~76ms. Es compatible con Python, Java, C/C++, C#, JS/TS y Go.