SpruceChat запускает 0.5B LLM на устройстве на консолях Miyoo с помощью llama.cpp.

Что это такое
SpruceChat — это проект, который запускает языковую модель Qwen2.5-0.5B полностью на устройстве на нескольких портативных игровых консолях с использованием llama.cpp. После первоначальной настройки не требуется подключение к облаку или Wi-Fi.
Ключевые детали
Модель находится в оперативной памяти после первой загрузки, и токены поступают по одному во время генерации. Она работает на Miyoo A30, Miyoo Flip, Trimui Brick и Trimui Smart Pro.
Производительность на Miyoo A30 (с четырёхъядерным процессором Cortex-A7):
- Загрузка модели: ~60 секунд при первой загрузке
- Скорость генерации: ~1-2 токена в секунду
- Оценка промпта: ~3 токена в секунду
Разработчик отмечает, что это не быстро, но токены поступают потоком, поэтому можно наблюдать, как модель «думает». Упоминается, что 64-битные устройства работают быстрее.
ИИ описывается как имеющий «личность ели: терпеливый, неторопливый, тихо восхищающийся всем вокруг».
Если устройство подключено к Wi-Fi, можно также обратиться к llama-server из браузера на телефоне или ноутбуке, чтобы общаться с реальной клавиатурой.
Репозиторий находится по адресу https://github.com/RED-BASE/SpruceChat. Проект был создан с помощью Claude, и уже есть участник, работающий над расширением поддержки устройств. Первый выпуск доступен с бинарными файлами для armhf и aarch64, и модель включена.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Claude-First Analytics MCP Server: предоставление AI-агентам прямого доступа к контексту веб-аналитики
Разработчик перестроил свой инструмент веб-аналитики в виде MCP-сервера, предоставив простую веб-аналитику, отслеживаемые ссылки и инструменты аналитики продукта напрямую Claude, что позволяет AI-агентам использовать данные сайта вместе с кодом и контекстом базы данных.

Форман: Открытый Slack-бот для удаленного управления локальным кодом Claude
Foreman — это бесплатный бот для Slack с открытым исходным кодом, который обеспечивает удалённое управление локально запущенными экземплярами Claude Code. Он позволяет разработчикам отправлять задачи в Claude со своего телефона, сохраняя полный локальный доступ к файловой системе, инструментам и окружению.

TailClaude: Открытый веб-интерфейс для доступа к сессиям кода Claude с мобильных устройств и браузера
TailClaude — это открытый веб-интерфейс, который позволяет получить доступ к сессиям Claude Code с телефона или любого браузера менее чем за минуту с помощью Tailscale. Проект был создан с помощью Claude Code для каркаса, бэкенда с потоковой передачей SSE, мобильного чат-интерфейса и интеграции QR-кода.

Репозиторий бесплатного руководства по запуску продуктов на основе ИИ для пользователей Claude
Разработчик выпустил бесплатный репозиторий, содержащий структурированное руководство по запуску ИИ-продуктов, предназначенное для работы с Claude. Репозиторий организует опыт запуска в практические этапы, включая стратегию, подготовку, исполнение, а также содержит шаблоны и ссылки на инструменты.