Запуск локальных агентов LLM на Mac Mini с интерфейсом Telegram

Разработчик на r/LocalLLaMA подробно описал систему для запуска нескольких локальных LLM-агентов на Mac Mini, полностью управляемую через Telegram-сообщения с телефона. Эта настройка исключает затраты на API и обеспечивает полную конфиденциальность, сохраняя функциональность, аналогичную коммерческим сервисам, таким как Claude Code Channels.

Техническая настройка

Основная система использует:

• Локальные модели через LMStudio: 35B-модели для повседневных задач, 235B-модели для более сложных рассуждений
• Claude Code, работающий в tmux-сессиях на каждом Mac Mini
• Telegram-боты, которые передают сообщения пользователей в tmux-сессии
• 80 строк Python для реализации Telegram-бота (доступно на GitHub)

Рабочий процесс прост: отправьте сообщение Telegram-боту, который вводит его в tmux-сессию, отслеживает вывод и отправляет ответ обратно.

Ключевые преимущества

• Нулевые текущие затраты: Оборудование — единственная статья расходов — никаких API-ключей, ограничений по частоте запросов или квотам
• Полная конфиденциальность: Всё остаётся в локальной сети (LAN)
• Гибкость моделей: Комбинируйте различные модели — один агент использует Gemini CLI, другие используют LMStudio, подключённый к моделям Ollama
• Отсутствие привязки к поставщику: LMStudio нативно обслуживает Anthropic Messages API, поэтому Claude Code подключается к нему, как если бы общался с серверами Anthropic

Текущая реализация

Разработчик запускает 5 специализированных агентов, каждый со своим Telegram-ботом:

• Рабочие процессы утверждения с встроенными кнопками Telegram (Утвердить/Отклонить/Изменить) для проверки черновиков с телефона
• Общая память между агентами через синхронизацию git
• Генерация медиа (FLUX.1, Wan 2.2), отправляемая на GPU-бокс
• Конвейер подкастов с клонированным голосовым TTS, запускаемый одним Telegram-сообщением

Требования к оборудованию

• 35B-модели: Хорошо работают на Mac с 64+ ГБ ОЗУ или GPU с 24 ГБ
• 235B-модели: Требуют 128-256 ГБ ОЗУ или нескольких GPU
• Разработчик рекомендует начинать с малого и масштабироваться по мере необходимости

Шаблон tmux-моста не зависит от модели — ему не важно, что работает внутри сессии, что позволяет легко менять базовые модели. Доступно полное руководство по сборке для одной машины/агента, инструкции для нескольких машин появятся вскоре.