Много-провайдерская цепочка отказов LLM с поддержкой Ollama в производственной AI IDE

Resonant Genesis, производственная платформа AI IDE, интегрировала поддержку локальных LLM как полноценного провайдера в своей архитектуре. Платформа работает на более чем 30 микросервисах и рассматривает локальные модели как равные облачным провайдерам, таким как Groq, OpenAI, Anthropic и Gemini.

Архитектура и интеграция

Платформа использует общую библиотеку rg_llm под названием UnifiedLLMClient, которая монтируется по всем сервисам. Каждый микросервис, которому нужны возможности LLM, импортирует этого же клиента. Цепочка отказов настроена как: Groq → OpenAI → Anthropic → Gemini → Ollama/LM Studio.

Тонкое клиентское расширение IDE автоматически обнаруживает локальные модели Ollama и добавляет их в список провайдеров. Пользователи могут настроить систему для приоритетного использования локальных моделей, если захотят.

Оркестрация на стороне сервера

Вся оркестрация происходит на стороне сервера, а IDE выступает в качестве тонкого клиента, который отображает интерфейс, выполняет локальные инструменты (файловые операции, терминал, git) и передаёт результаты через Server-Sent Events (SSE). Агентский цикл, выбор инструментов, системные промпты и маршрутизация LLM — всё это происходит на сервере.

При использовании локальной модели она всё равно проходит через тот же управляемый конвейер выполнения:

• Применение политик до выполнения (блокирует действия до их запуска)
• Нативный вызов функций через API провайдеров (без инъекции JSON в промпты)
• Криптографическая идентификация (DSID на Ethereum L2) для каждого агента
• Те же 59 локальных инструментов доступны независимо от выбранного провайдера LLM

Преимущества для пользователей локальных LLM

Для пользователей, запускающих Ollama локально, эта архитектура предоставляет:

• Конфиденциальность: Архитектура тонкого клиента означает отсутствие корпоративной разведки в бинарном файле, а с локальными моделями промпты остаются локальными
• Использование инструментов: 59 локальных инструментов с нативным вызовом функций, а не с инъекцией JSON-схем в промпты
• Откат: Если локальная модель не справляется со сложной задачей, она автоматически переключается на облачные провайдеры

Разработчики ищут отзывы от людей, использующих локальные модели, особенно о производительности вызова функций с меньшими моделями и о том, какие модели хорошо работают для агентского использования инструментов.

Проект имеет открытый исходный код на GitHub, а гостевой чат, демонстрирующий экосистему инструментов, доступен на dev-swat.com (использует облачные модели).