SpruceChat Executa LLM de 0.5B Localmente em Handhelds Miyoo via llama.cpp

O Que É Isso

O SpruceChat é um projeto que executa o modelo de linguagem Qwen2.5-0.5B totalmente no dispositivo em vários consoles portáteis de jogos usando llama.cpp. Ele não requer conexão com a nuvem ou WiFi após a configuração inicial.

Detalhes Principais

O modelo fica na RAM após a primeira inicialização, e os tokens são transmitidos um por um durante a geração. Ele roda no Miyoo A30, Miyoo Flip, Trimui Brick e Trimui Smart Pro.

Desempenho no Miyoo A30 (que possui um processador quad-core Cortex-A7):

• Carregamento do modelo: ~60 segundos na primeira inicialização
• Velocidade de geração: ~1-2 tokens por segundo
• Avaliação do prompt: ~3 tokens por segundo

O desenvolvedor observa que não é rápido, mas transmite para que você possa vê-lo pensar. Eles mencionam que dispositivos de 64 bits são mais rápidos.

A IA é descrita como tendo "a personalidade de um pinheiro: paciente, sem pressa, silenciosamente maravilhada com tudo".

Se o dispositivo estiver no WiFi, você também pode acessar o llama-server de um navegador em um telefone ou laptop para conversar com um teclado real.

O repositório está em https://github.com/RED-BASE/SpruceChat. O projeto foi construído com ajuda do Claude, e já há um colaborador trabalhando na expansão do suporte a dispositivos. O primeiro lançamento está disponível com binários armhf e aarch64, e o modelo está incluído.