Мобильное приложение Off Grid добавило использование ИИ-инструментов на устройстве с трёхкратным увеличением скорости.

Off Grid, мобильное приложение для ИИ на устройстве, было обновлено для добавления возможностей использования инструментов и значительного повышения производительности. Приложение теперь позволяет моделям ИИ вызывать инструменты офлайн без необходимости в API-ключах, серверах или облачных функциях.

Ключевые возможности и производительность

Обновление вводит автоматические циклы инструментов для веб-поиска, калькулятора, функций даты/времени и доступа к информации об устройстве. По словам разработчика, это сокращает разрыв между «локальной игрушкой» и «полезным помощником», позволяя 3B-параметрическим моделям рассуждать, вызывать инструменты и синтезировать результаты прямо на вашем телефоне.

Улучшения производительности достигаются за счет настраиваемых параметров кэша KV. Пользователи теперь могут выбирать между тремя типами кэша KV:

• f16
• q8_0
• q4_0

С кэшем q4_0 модели, которые ранее генерировали 10 токенов в секунду, теперь достигают 30 токенов в секунду. Приложение включает функцию подсказки производительности, которая предлагает более быстрые настройки после первой генерации.

Поддержка моделей и доступность на платформах

Off Grid поддерживает модели в формате GGUF, включая:

• Qwen 3
• Llama 3.2
• Gemma 3
• Phi-4
• Другие модели, совместимые с GGUF

Приложение теперь доступно в основных магазинах приложений без необходимости сторонней загрузки. Его можно установить напрямую из App Store и Google Play.

Основная функциональность и философия

Что не изменилось в этом обновлении:

• Лицензия MIT и полностью открытый исходный код
• Нулевая передача данных с устройства (нет аналитики, телеметрии или анонимных данных об использовании)
• Офлайн-возможности, включая генерацию текста (15-30 токенов в секунду), генерацию изображений (5-10 секунд на NPU), компьютерное зрение, транскрипцию голоса и анализ документов

Разработчик заявляет, что проект мотивирован убеждением, что «телефон в вашем кармане должен быть самым приватным компьютером, которым вы владеете, а не самым отслеживаемым».