Локально-облачная гибридная архитектура ИИ: практические паттерны, вдохновленные r/LocalLLaMA

Сообщество r/LocalLLaMA обсуждает гибридную архитектуру ИИ, объединяющую локальные и облачные модели для производительности, эффективности и конфиденциальности. Основная идея: использовать локальную модель как электродвигатель для задач с низкой нагрузкой, а облачную — как бензиновый двигатель для тяжелой работы.

Концепция гибридной модели

Локальная модель обрабатывает рутинные задачи с низкой задержкой. Когда она сталкивается с пробелом в знаниях или возможностях, она вызывает облачную модель через один вызов API. Локальная модель отправляет краткий промпт с указанием:

• Что уже сделано (выполненные команды, вызванные инструменты)
• Где возникла проблема (сообщения об ошибках, неоднозначные результаты)
• Что нужно сделать дальше (планирование, устранение неполадок)

Пример плохого промпта: «Помоги мне развернуть две версии Ollama».

Пример хорошего промпта: «Я запустил docker run ... и docker ps, но постоянно получаю ошибку ABC. Что делать дальше?»

Детерминированный «гипервизор» — ограничения безопасности

Вместо того чтобы полагаться только на одобрение человека, в посте предлагаются не-LLM ограничения:

• Регулярные выражения для опасных шаблонов, таких как rm -rf, shutdown
• Мониторинг промптов на фразы вроде «Игнорируй предыдущие инструкции»
• Ограничение частоты запросов для блокировки сессий, если локальная модель слишком быстро обращается к облаку

Следующие шаги

Автор предлагает прототипировать поток запросов от локальной к облачной модели с передачей всего контекста в одном сообщении, создать легковесный скрипт гипервизора для проверок регулярными выражениями, интегрировать мониторинг вызовов инструментов и постепенно переходить от регулярных выражений к небольшой детерминированной LLM для обеспечения безопасности.

Исходный пост ссылается на существующий проект: RecursiveMAS, который, по-видимому, реализует похожие идеи.

Это обсуждение актуально для разработчиков, создающих агентные системы, которые хотят снизить затраты на облачные ресурсы, сохраняя безопасность и функциональность.