SpruceChat запускает 0.5B LLM на устройстве на консолях Miyoo с помощью llama.cpp.

Что это такое

SpruceChat — это проект, который запускает языковую модель Qwen2.5-0.5B полностью на устройстве на нескольких портативных игровых консолях с использованием llama.cpp. После первоначальной настройки не требуется подключение к облаку или Wi-Fi.

Ключевые детали

Модель находится в оперативной памяти после первой загрузки, и токены поступают по одному во время генерации. Она работает на Miyoo A30, Miyoo Flip, Trimui Brick и Trimui Smart Pro.

Производительность на Miyoo A30 (с четырёхъядерным процессором Cortex-A7):

• Загрузка модели: ~60 секунд при первой загрузке
• Скорость генерации: ~1-2 токена в секунду
• Оценка промпта: ~3 токена в секунду

Разработчик отмечает, что это не быстро, но токены поступают потоком, поэтому можно наблюдать, как модель «думает». Упоминается, что 64-битные устройства работают быстрее.

ИИ описывается как имеющий «личность ели: терпеливый, неторопливый, тихо восхищающийся всем вокруг».

Если устройство подключено к Wi-Fi, можно также обратиться к llama-server из браузера на телефоне или ноутбуке, чтобы общаться с реальной клавиатурой.

Репозиторий находится по адресу https://github.com/RED-BASE/SpruceChat. Проект был создан с помощью Claude, и уже есть участник, работающий над расширением поддержки устройств. Первый выпуск доступен с бинарными файлами для armhf и aarch64, и модель включена.