Ejecutando Agentes de LLM Locales en Mac Minis con Interfaz de Telegram

Un desarrollador en r/LocalLLaMA detalló un sistema para ejecutar múltiples agentes de LLM locales en Mac Minis, controlados completamente a través de mensajes de Telegram desde un teléfono. La configuración elimina los costos de API y proporciona privacidad total mientras mantiene una funcionalidad similar a servicios comerciales como Claude Code Channels.

Configuración Técnica

El sistema central utiliza:

• Modelos locales a través de LMStudio: Modelos de 35B para tareas cotidianas, modelos de 235B para razonamientos más pesados
• Claude Code ejecutándose en sesiones de tmux en cada Mac Mini
• Bots de Telegram que conectan los mensajes de usuario con las sesiones de tmux
• 80 líneas de Python para la implementación del bot de Telegram (disponible en GitHub)

El flujo de trabajo es sencillo: envía un mensaje de texto al bot de Telegram, que lo escribe en la sesión de tmux, observa la salida y envía la respuesta de vuelta.

Ventajas Clave

• Costo continuo cero: El hardware es el único gasto—sin claves de API, límites de tasa o restricciones de cuota
• Privacidad completa: Todo permanece en la red de área local (LAN)
• Flexibilidad de modelos: Mezcla y combina diferentes modelos—un agente ejecuta Gemini CLI, otros usan LMStudio apuntando a modelos de Ollama
• Sin dependencia de proveedores: LMStudio sirve la API de Mensajes de Anthropic de forma nativa, por lo que Claude Code se conecta a él como si hablara con los servidores de Anthropic

Implementación Actual

El desarrollador ejecuta 5 agentes especializados, cada uno con su propio bot de Telegram:

• Flujos de trabajo de aprobación con botones en línea de Telegram (Aprobar/Rechazar/Ajustar) para revisar borradores desde un teléfono
• Memoria compartida entre agentes mediante sincronización con git
• Generación de medios (FLUX.1, Wan 2.2) enviada a una caja con GPU
• Canalización de podcasts con TTS de voz clonada, activada desde un solo mensaje de Telegram

Requisitos de Hardware

• Modelos de 35B: Funcionan bien en Mac con 64GB+ de RAM o GPU de 24GB
• Modelos de 235B: Necesitan 128-256GB de RAM o múltiples GPUs
• El desarrollador recomienda comenzar a pequeña escala y ampliar según sea necesario

El patrón de puente tmux es independiente del modelo—no le importa qué se ejecuta dentro de la sesión, permitiendo un intercambio fácil de los modelos subyacentes. Una guía de construcción completa para una sola máquina/agente está disponible, con instrucciones para múltiples máquinas próximamente.