Radio Free Gemma: Katastrophen-KI via Meshtastic und lokales LLM

Ein Reddit-Nutzer (u/bravoitaliano) hat ein Projekt namens Radio Free Gemma vorgestellt, das ein lokales LLM auf einem Meshtastic-Mesh-Netzwerk für Katastrophenszenarien betreibt. Der Aufbau verwendet ein Gemma 4:26B-Modell, eine einfache RAG-Bibliothek mit Vektor-Embeddings und einen MQTT-Server in Docker, alles eingebunden in OpenClaw als Sub-Agent. Der Korpus besteht aus öffentlich zugänglichen Protokollen (CDC, Zivilschutz usw.) und der Agent ist als Notfallfunker charakterisiert. Der gesamte Stack läuft auf Batterie-Backups – wenn Strom und Mobilfunk ausfallen, können Nutzer die KI dennoch über Meshtastic-Knoten erreichen.

Wichtige Details aus der Quelle:

• Modell: Gemma 4:26B, lokal betrieben
• Netzwerk: Meshtastic (Mesh-Funknetzwerk, nicht Mobilfunk)
• Konnektivität: MQTT-Server in einem Docker-Container auf dem Hauptcluster, der Meshtastic und OpenClaw verbindet
• RAG: Benutzerdefinierte RAG-Bibliothek mit Vektor-Embeddings, kuratiert von Frontier-Modellen
• Korpus: CDC, Zivilschutz und andere öffentliche Notfallprotokolle
• Agent: OpenClaw-Sub-Agent; Soul/Agent-Markdowns auf die Persönlichkeit eines Notfallfunkers abgestimmt
• Stromversorgung: Alle Hardware auf Batterie-Backups – bleibt bei Ausfällen betriebsbereit
• Einschränkung: Der Autor merkt an, dass es nicht perfekt ist, aber für grundlegende Triage und lebensrettende Informationen vertrauenswürdig sei

Das Projekt ist nicht auf GitHub, aber der Autor ist offen für Details und Fragen. Es ist eine praktische Demonstration der Nutzung eines lokalen LLM für Szenarien ohne Kommunikation, basierend auf netzunabhängigem Mesh-Netzwerk.