SpruceChat запускает 0.5B LLM на устройстве на консолях Miyoo с помощью llama.cpp.

Что это такое
SpruceChat — это проект, который запускает языковую модель Qwen2.5-0.5B полностью на устройстве на нескольких портативных игровых консолях с использованием llama.cpp. После первоначальной настройки не требуется подключение к облаку или Wi-Fi.
Ключевые детали
Модель находится в оперативной памяти после первой загрузки, и токены поступают по одному во время генерации. Она работает на Miyoo A30, Miyoo Flip, Trimui Brick и Trimui Smart Pro.
Производительность на Miyoo A30 (с четырёхъядерным процессором Cortex-A7):
- Загрузка модели: ~60 секунд при первой загрузке
- Скорость генерации: ~1-2 токена в секунду
- Оценка промпта: ~3 токена в секунду
Разработчик отмечает, что это не быстро, но токены поступают потоком, поэтому можно наблюдать, как модель «думает». Упоминается, что 64-битные устройства работают быстрее.
ИИ описывается как имеющий «личность ели: терпеливый, неторопливый, тихо восхищающийся всем вокруг».
Если устройство подключено к Wi-Fi, можно также обратиться к llama-server из браузера на телефоне или ноутбуке, чтобы общаться с реальной клавиатурой.
Репозиторий находится по адресу https://github.com/RED-BASE/SpruceChat. Проект был создан с помощью Claude, и уже есть участник, работающий над расширением поддержки устройств. Первый выпуск доступен с бинарными файлами для armhf и aarch64, и модель включена.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Сервер LocalSynapse MCP теперь поддерживает macOS и улучшенный поиск.
LocalSynapse, автономный MCP-сервер для поиска по локальным документам, теперь поддерживает macOS и включает исправления для поисковых запросов из нескольких слов. Разработчик внедрил улучшения на основе обратной связи, включая усиление кликов с учётом позиции и временное затухание в качестве продвижения.

certctl: Платформа для управления жизненным циклом сертификатов с самостоятельным хостингом, предоставляющая 78 API-эндпоинтов для автоматизации с помощью AI-агентов.
certctl — это самодостаточная платформа для управления жизненным циклом сертификатов, написанная на Go и TypeScript, которая предоставляет 78 REST API-эндпоинтов для управления сертификатами. Платформа не зависит от эмитента и целевой системы, а также планируется внедрение MCP-сервера для предоставления всего функционала в виде нативных инструментов MCP.

Расширение OpenClaw Browser Relay для Chrome — альтернатива ручным настройкам.
Пользователь Reddit сообщает об успехе с расширением Chrome для браузерного реле OpenClaw после того, как попытки ручной настройки вызвали сбои системы и проблемы с отладкой.

Utilyze: Монитор GPU с открытым исходным кодом, измеряющий реальную вычислительную пропускную способность, а не только активность ядра
Utilyze выбирает образцы аппаратных счетчиков производительности, чтобы сообщать вычислительную и памятьную пропускную способность относительно теоретических пределов, показывая, что панели с 100% загрузкой могут иметь всего 1-10% реальной пропускной способности.