Off-Grid-Mobile-App fügt On-Device-KI-Toolnutzung mit 3-facher Geschwindigkeitssteigerung hinzu
Off Grid, eine KI-Mobile-App für On-Device-Nutzung, wurde aktualisiert, um Werkzeugnutzung und erhebliche Leistungsverbesserungen hinzuzufügen. Die App ermöglicht es KI-Modellen jetzt, Werkzeuge offline aufzurufen, ohne API-Schlüssel, Server oder Cloud-Funktionen zu benötigen.
Wichtige Funktionen und Leistung
Das Update führt automatische Werkzeugschleifen für Websuche, Taschenrechner, Datums-/Uhrzeitfunktionen und Zugriff auf Geräteinformationen ein. Laut Entwickler schließt dies die Lücke zwischen "lokalen Spielzeugen" und "nützlichen Assistenten", indem 3B-Parameter-Modelle auf Ihrem Telefon direkt denken, Werkzeuge aufrufen und Ergebnisse zusammenfassen können.
Die Leistungsverbesserungen stammen von konfigurierbaren KV-Cache-Optionen. Benutzer können jetzt zwischen drei KV-Cache-Typen wählen:
f16q8_0q4_0
Mit dem q4_0-Cache erreichen Modelle, die zuvor 10 Tokens/Sekunde generierten, jetzt 30 Tokens/Sekunde. Die App enthält eine Leistungsempfehlungsfunktion, die nach der ersten Generierung schnellere Einstellungen vorschlägt.
Modellunterstützung und Plattformverfügbarkeit
Off Grid unterstützt Modelle im GGUF-Format, darunter:
- Qwen 3
- Llama 3.2
- Gemma 3
- Phi-4
- Andere GGUF-kompatible Modelle
Die App ist jetzt in beiden großen App-Stores ohne Sideloading-Anforderungen verfügbar. Sie kann direkt aus dem App Store und Google Play installiert werden.
Kernfunktionalität und Philosophie
Was sich in diesem Update nicht geändert hat:
- MIT-lizenziert und vollständig Open Source
- Keine Daten verlassen das Gerät (keine Analysen, Telemetrie oder anonyme Nutzungsdaten)
- Offline-Fähigkeiten einschließlich Textgenerierung (15-30 Tokens/Sekunde), Bildgenerierung (5-10 Sekunden auf NPU), Vision-KI, Spracherkennung und Dokumentenanalyse
Der Entwickler erklärt, das Projekt sei motiviert von der Überzeugung, dass "das Telefon in Ihrer Tasche der privateste Computer sein sollte, den Sie besitzen – nicht der am meisten überwachte".
📖 Read the full source: HN AI Agents
👀 Siehe auch
Die Optimierung von ANE durch telefonisch gesteuerte KI-Experimente zeigt Vorteile der Kernel-Fusion.
Ein Entwickler führte 55 Experimente zur Optimierung des Apple Neural Engine durch und steuerte den Prozess von seinem Telefon aus, wobei er Claude für Brainstorming nutzte. Wichtige Verbesserungen umfassten die Verschmelzung von 3 ANE-Kerneln zu einem Mega-Kernel, wodurch der Validierungsverlust von 3,75 auf 2,49 und die Schrittzeit von 176 ms auf 96 ms reduziert wurden.
Erkundung von LiveDocs: Ein KI-natives Datenanalyse-Notebook
LiveDocs bietet eine reaktive Notebook-Umgebung, die es Datenteams ermöglicht, mehrstufige Analysen durchzuführen und die Analyse von Anfang bis Ende mit Hilfe eines KI-Agenten aufrechtzuerhalten.
CtxSnap VS-Code-Erweiterung verfolgt Dateiänderungen für Claude-Sitzungen
CtxSnap ist eine VS Code-Erweiterung, die verfolgt, welche Dateien sich seit Ihrer letzten Claude-Sitzung geändert haben, und verpackt sie in einen kopierfertigen Übergabeblock mit Dateiinhalten und einer Token-Budget-Anzeige, die auf Claudes 200k-Kontextfenster kalibriert ist.
Open-Source Benchmark Runner zum Testen von OpenClaw-Agenten in realen Workflows
Ein neues Open-Source-Projekt ermöglicht es Ihnen, OpenClaw-Agenten anhand Ihrer eigenen privaten, praxisnahen Aufgaben zu bewerten, die in YAML definiert sind, mit Unterstützung zum Importieren tatsächlicher Agenten-Workspaces.