Офлайн: Использование аппаратного обеспечения телефона для автономных AI-приложений

Off Grid - это приложение с открытым исходным кодом, предназначенное для использования мощного графического процессора вашего смартфона для выполнения задач ИИ оффлайн, без зависимости от облачных сервисов. Это включает в себя генерацию текста с использованием llama.cpp на скорости 15-30 токенов в секунду с любым GGUF моделью, генерацию изображений с помощью Stable Diffusion, работающим с ускорением NPU на Snapdragon NPU, что занимает 5-10 секунд на изображение, транскрипцию голоса с помощью Whisper и зрительный ИИ с моделями, такими как SmolVLM и Qwen3-VL.

Приложение работает полностью оффлайн, обеспечивая, что ни одни данные не покидают ваше устройство, что особенно важно в сценариях с отсутствием интернет-доступа, таких как полеты, в странах с цензурой или в строгих условиях соблюдения норм, таких как больницы. Для Android приложение доступно в виде APK на GitHub, тогда как пользователям iOS необходимо собирать приложение из исходного кода.

Чтобы запустить Off Grid, пользователи Android должны использовать npm install, за которым следует cd android && ./gradlew clean && cd .. и npm run android. Настройка для iOS требует cd ios && pod install && cd .. и npm run ios. Убедитесь, что установлены Node.js 20+ и Xcode 15+ для iOS, или JDK 17 и Android SDK 34 для Android. Этот тип оффлайн-возможностей особенно полезен для разработчиков, беспокоящихся о конфиденциальности данных, и для тех, кто работает в условиях ограниченного доступа к интернету или в средах с чувствительными данными.