Радио Свободная Джемма: Искусственный интеллект катастроф через Meshtastic и локальную LLM

Пользователь Reddit (u/bravoitaliano) поделился проектом под названием Radio Free Gemma, который запускает локальную LLM на ячеистой сети Meshtastic для сценариев катастроф. В настройках используется модель Gemma 4:26B, базовая библиотека RAG с векторными эмбеддингами и MQTT-сервер в Docker, все интегрировано в OpenClaw как под-агент. Корпус собран из общедоступных протоколов (CDC, гражданская оборона и т.д.), а личность агента стилизована под аварийного радиста. Весь стек работает на резервных батареях — когда электричество и сотовая связь отключаются, пользователи все еще могут обращаться к AI через узлы Meshtastic.

Ключевые детали из источника:

• Модель: Gemma 4:26B, запущенная локально
• Сеть: Meshtastic (ячеистая радиосеть, не сотовая)
• Связь: MQTT-сервер в Docker-контейнере на основном кластере, связывающий Meshtastic и OpenClaw
• RAG: Пользовательская библиотека RAG с векторными эмбеддингами, отобранными пограничными моделями
• Корпус: CDC, гражданская оборона и другие общедоступные аварийные протоколы
• Агент: Под-агент OpenClaw; разметка души/агента привязана к личности аварийного радиста
• Питание: Все оборудование на резервных батареях — продолжает работать при отключениях
• Ограничение: Автор отмечает, что система не совершенна, но доверяет ей в базовой сортировке и предоставлении жизненно важной информации

Проект не на GitHub, но автор готов делиться деталями и отвечать на вопросы. Это практическая демонстрация использования локальной LLM в сценариях без связи, с использованием автономных ячеистых сетей.