オフグリッドモバイルアプリ、オンデバイスAIツールを追加し3倍の速度向上を実現

オンデバイスAIモバイルアプリ「Off Grid」がアップデートされ、ツール使用機能と大幅なパフォーマンス向上が追加されました。このアプリは現在、APIキー、サーバー、またはクラウド機能を必要とせずに、AIモデルがオフラインでツールを呼び出せるようになりました。

主な機能とパフォーマンス

このアップデートでは、ウェブ検索、電卓、日付/時刻機能、デバイス情報アクセスのための自動ツールループが導入されています。開発者によると、これにより30億パラメータのモデルがスマートフォン上で直接推論、ツール呼び出し、結果の統合を行えるようになり、「ローカル玩具」と「有用なアシスタント」のギャップが埋められるとのことです。

パフォーマンス向上は設定可能なKVキャッシュオプションによるものです。ユーザーは現在、3つのKVキャッシュタイプから選択できます：

• f16
• q8_0
• q4_0

q4_0キャッシュを使用すると、以前は10トークン/秒を生成していたモデルが、現在は30トークン/秒に達します。このアプリには、最初の生成後に高速な設定を提案するパフォーマンスナッジ機能が含まれています。

モデルサポートとプラットフォーム対応状況

Off GridはGGUF形式のモデルをサポートしており、以下を含みます：

• Qwen 3
• Llama 3.2
• Gemma 3
• Phi-4
• その他のGGUF互換モデル

このアプリは現在、サイドロード要件なしで両方の主要アプリストアで利用可能です。App StoreとGoogle Playから直接インストールできます。

コア機能と哲学

このアップデートで変わらなかった点：

• MITライセンスで完全オープンソース
• デバイスからデータが一切流出しない（分析、テレメトリ、匿名使用データなし）
• テキスト生成（15-30トークン/秒）、画像生成（NPUで5-10秒）、視覚AI、音声文字起こし、文書分析を含むオフライン機能

開発者は、このプロジェクトは「あなたのポケットにあるスマートフォンは、最も監視されるコンピューターではなく、最もプライベートなコンピューターであるべきだ」という信念に動機づけられていると述べています。