Off-Grid-Mobile-App fügt On-Device-KI-Toolnutzung mit 3-facher Geschwindigkeitssteigerung hinzu

Off Grid, eine KI-Mobile-App für On-Device-Nutzung, wurde aktualisiert, um Werkzeugnutzung und erhebliche Leistungsverbesserungen hinzuzufügen. Die App ermöglicht es KI-Modellen jetzt, Werkzeuge offline aufzurufen, ohne API-Schlüssel, Server oder Cloud-Funktionen zu benötigen.

Wichtige Funktionen und Leistung

Das Update führt automatische Werkzeugschleifen für Websuche, Taschenrechner, Datums-/Uhrzeitfunktionen und Zugriff auf Geräteinformationen ein. Laut Entwickler schließt dies die Lücke zwischen "lokalen Spielzeugen" und "nützlichen Assistenten", indem 3B-Parameter-Modelle auf Ihrem Telefon direkt denken, Werkzeuge aufrufen und Ergebnisse zusammenfassen können.

Die Leistungsverbesserungen stammen von konfigurierbaren KV-Cache-Optionen. Benutzer können jetzt zwischen drei KV-Cache-Typen wählen:

• f16
• q8_0
• q4_0

Mit dem q4_0-Cache erreichen Modelle, die zuvor 10 Tokens/Sekunde generierten, jetzt 30 Tokens/Sekunde. Die App enthält eine Leistungsempfehlungsfunktion, die nach der ersten Generierung schnellere Einstellungen vorschlägt.

Modellunterstützung und Plattformverfügbarkeit

Off Grid unterstützt Modelle im GGUF-Format, darunter:

• Qwen 3
• Llama 3.2
• Gemma 3
• Phi-4
• Andere GGUF-kompatible Modelle

Die App ist jetzt in beiden großen App-Stores ohne Sideloading-Anforderungen verfügbar. Sie kann direkt aus dem App Store und Google Play installiert werden.

Kernfunktionalität und Philosophie

Was sich in diesem Update nicht geändert hat:

• MIT-lizenziert und vollständig Open Source
• Keine Daten verlassen das Gerät (keine Analysen, Telemetrie oder anonyme Nutzungsdaten)
• Offline-Fähigkeiten einschließlich Textgenerierung (15-30 Tokens/Sekunde), Bildgenerierung (5-10 Sekunden auf NPU), Vision-KI, Spracherkennung und Dokumentenanalyse

Der Entwickler erklärt, das Projekt sei motiviert von der Überzeugung, dass "das Telefon in Ihrer Tasche der privateste Computer sein sollte, den Sie besitzen – nicht der am meisten überwachte".