Много-провайдерская цепочка отказов LLM с поддержкой Ollama в производственной AI IDE

Resonant Genesis, производственная платформа AI IDE, интегрировала поддержку локальных LLM как полноценного провайдера в своей архитектуре. Платформа работает на более чем 30 микросервисах и рассматривает локальные модели как равные облачным провайдерам, таким как Groq, OpenAI, Anthropic и Gemini.
Архитектура и интеграция
Платформа использует общую библиотеку rg_llm под названием UnifiedLLMClient, которая монтируется по всем сервисам. Каждый микросервис, которому нужны возможности LLM, импортирует этого же клиента. Цепочка отказов настроена как: Groq → OpenAI → Anthropic → Gemini → Ollama/LM Studio.
Тонкое клиентское расширение IDE автоматически обнаруживает локальные модели Ollama и добавляет их в список провайдеров. Пользователи могут настроить систему для приоритетного использования локальных моделей, если захотят.
Оркестрация на стороне сервера
Вся оркестрация происходит на стороне сервера, а IDE выступает в качестве тонкого клиента, который отображает интерфейс, выполняет локальные инструменты (файловые операции, терминал, git) и передаёт результаты через Server-Sent Events (SSE). Агентский цикл, выбор инструментов, системные промпты и маршрутизация LLM — всё это происходит на сервере.
При использовании локальной модели она всё равно проходит через тот же управляемый конвейер выполнения:
- Применение политик до выполнения (блокирует действия до их запуска)
- Нативный вызов функций через API провайдеров (без инъекции JSON в промпты)
- Криптографическая идентификация (DSID на Ethereum L2) для каждого агента
- Те же 59 локальных инструментов доступны независимо от выбранного провайдера LLM
Преимущества для пользователей локальных LLM
Для пользователей, запускающих Ollama локально, эта архитектура предоставляет:
- Конфиденциальность: Архитектура тонкого клиента означает отсутствие корпоративной разведки в бинарном файле, а с локальными моделями промпты остаются локальными
- Использование инструментов: 59 локальных инструментов с нативным вызовом функций, а не с инъекцией JSON-схем в промпты
- Откат: Если локальная модель не справляется со сложной задачей, она автоматически переключается на облачные провайдеры
Разработчики ищут отзывы от людей, использующих локальные модели, особенно о производительности вызова функций с меньшими моделями и о том, какие модели хорошо работают для агентского использования инструментов.
Проект имеет открытый исходный код на GitHub, а гостевой чат, демонстрирующий экосистему инструментов, доступен на dev-swat.com (использует облачные модели).
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Офлайн-инструмент преобразования речи в текст для macOS с использованием локальной модели Whisper через MLX
Разработчик выпустил whisper-dictate, инструмент для macOS, который обеспечивает полностью автономное преобразование речи в текст с возможностью перевода в реальном времени, используя Whisper, работающий локально через MLX на Apple Silicon. Транскрипция занимает около 500 мс после окончания речи.
Агентальманах: Каталог 23 MCP-серверов с готовыми к вставке JSON-конфигами
Пользователь Reddit составил каталог из 23 MCP-серверов с готовыми к вставке конфигами для Claude Desktop, Cursor и Continue. Обходит заархивированные серверы, указывая на поддерживаемые альтернативы. Демо-версия работает на Cloudflare Workers.

re_gent: Git для ИИ-агентов кодинга – Контроль версий активности агента
re_gent — это инструмент с открытым исходным кодом, который обеспечивает контроль версий для сессий ИИ-агентов, отслеживая каждый вызов инструмента, сохраняя подсказки и различия в файлах, и предоставляя команды, такие как `rgt log`, `rgt blame` и `rgt rewind` (скоро появится).

Разработчик создаёт открытый ИИ-инструмент для проверки стартап-идей и «убивает» собственную идею за 10 минут.
Разработчик создал открытый навык ИИ под названием startup-design, который проводит через 8 этапов валидации стартапа — от мозгового штурма до финансовых прогнозов. При тестировании на своей собственной идее стартапа навык задавал сложные вопросы, которые показали, что он не подходит в качестве основателя для этой конкретной концепции.