Außerhalb des Stromnetzes: Nutzung von Telefonhardware für Offline-AI-Anwendungen

Off Grid ist eine Open-Source-Anwendung, die entwickelt wurde, um die leistungsstarke GPU Ihres Smartphones zu nutzen, um AI-Aufgaben offline durchzuführen, ohne auf Cloud-Dienste angewiesen zu sein. Dazu gehört die Textgenerierung mit llama.cpp mit 15-30 Tokens pro Sekunde mit jedem GGUF-Modell, die Bilderzeugung mit Stable Diffusion, die auf Snapdragon-NPUs mit NPU-Beschleunigung 5-10 Sekunden pro Bild benötigt, die Spracherkennung mit Whisper und Vision AI mit Modellen wie SmolVLM und Qwen3-VL.

Die App funktioniert vollständig offline und stellt sicher, dass keine Daten Ihr Gerät verlassen, was besonders wichtig ist in Szenarien ohne Internetzugang, wie zum Beispiel bei Flügen, in Ländern mit Zensur oder in datenschutzintensiven Umgebungen wie Krankenhäusern. Für Android ist die App als APK von GitHub verfügbar, während iOS-Nutzer die App aus dem Quellcode kompilieren müssen.

Um Off Grid auszuführen, sollten Android-Nutzer npm install gefolgt von cd android && ./gradlew clean && cd .. und npm run android verwenden. Die Einrichtung für iOS erfordert cd ios && pod install && cd .. und npm run ios. Stellen Sie sicher, dass Node.js 20+ und Xcode 15+ für iOS oder JDK 17 und Android SDK 34 für Android installiert sind. Diese Art von Offline-Funktionalität ist besonders nützlich für Entwickler, die sich um den Datenschutz sorgen und für diejenigen, die in internetbeschränkten oder datensensiblen Umgebungen arbeiten.