Lokale LLM-Agenten auf Mac Minis mit Telegram-Schnittstelle ausführen

Ein Entwickler auf r/LocalLLaMA hat ein System beschrieben, mit dem mehrere lokale LLM-Agenten auf Mac Minis betrieben werden können, die vollständig über Telegram-Nachrichten vom Smartphone aus gesteuert werden. Das Setup eliminiert API-Kosten und bietet vollständige Privatsphäre, während es eine ähnliche Funktionalität wie kommerzielle Dienste wie Claude Code Channels beibehält.

Technisches Setup

Das Kernsystem verwendet:

• Lokale Modelle über LMStudio: 35B-Modelle für alltägliche Aufgaben, 235B-Modelle für anspruchsvolleres Denken
• Claude Code, das in tmux-Sitzungen auf jedem Mac Mini läuft
• Telegram-Bots, die Benutzernachrichten an die tmux-Sitzungen weiterleiten
• 80 Zeilen Python für die Implementierung des Telegram-Bots (verfügbar auf GitHub)

Der Arbeitsablauf ist einfach: Eine Nachricht an den Telegram-Bot senden, der sie in die tmux-Sitzung eingibt, die Ausgabe überwacht und die Antwort zurückschickt.

Hauptvorteile

• Keine laufenden Kosten: Hardware ist die einzige Ausgabe – keine API-Schlüssel, Ratenbegrenzungen oder Kontingentbeschränkungen
• Vollständige Privatsphäre: Alles bleibt im lokalen Netzwerk (LAN)
• Modellflexibilität: Verschiedene Modelle mischen und anpassen – ein Agent nutzt Gemini CLI, andere verwenden LMStudio mit Ollama-Modellen
• Kein Vendor-Lock-in: LMStudio stellt die Anthropic Messages API nativ bereit, sodass Claude Code sich damit verbindet, als würde es mit Anthropics Servern kommunizieren

Aktuelle Implementierung

Der Entwickler betreibt 5 spezialisierte Agenten, jeder mit seinem eigenen Telegram-Bot:

• Genehmigungs-Workflows mit Inline-Telegram-Buttons (Genehmigen/Ablehnen/Anpassen) zur Überprüfung von Entwürfen vom Smartphone
• Geteilter Speicher über Agenten hinweg via Git-Synchronisierung
• Mediengenerierung (FLUX.1, Wan 2.2), die an eine GPU-Box weitergeleitet wird
• Podcast-Pipeline mit geklonter Sprach-TTS, die durch eine einzelne Telegram-Nachricht ausgelöst wird

Hardware-Anforderungen

• 35B-Modelle: Laufen gut auf Mac mit 64GB+ RAM oder 24GB GPU
• 235B-Modelle: Benötigen 128-256GB RAM oder mehrere GPUs
• Der Entwickler empfiehlt, klein anzufangen und bei Bedarf zu skalieren

Das tmux-Brückenmuster ist modellunabhängig – es spielt keine Rolle, was in der Sitzung läuft, sodass die zugrundeliegenden Modelle leicht ausgetauscht werden können. Eine vollständige Anleitung für eine einzelne Maschine/einen Agenten ist verfügbar, Anleitungen für mehrere Maschinen folgen bald.