Cadena de respaldo de LLM multi-proveedor con soporte de Ollama en el IDE de IA de producción.

Resonant Genesis, una plataforma IDE de IA para producción, ha integrado soporte para LLM locales como proveedor de primera clase en su arquitectura. La plataforma opera a través de más de 30 microservicios y trata los modelos locales como iguales a proveedores en la nube como Groq, OpenAI, Anthropic y Gemini.

Arquitectura e integración

La plataforma utiliza una biblioteca compartida rg_llm llamada UnifiedLLMClient que se monta por volumen en todos los servicios. Cada microservicio que necesita capacidades de LLM importa este mismo cliente. La cadena de respaldo se configura como: Groq → OpenAI → Anthropic → Gemini → Ollama/LM Studio.

La extensión del cliente ligero del IDE descubre automáticamente los modelos locales de Ollama y los agrega a la lista de proveedores. Los usuarios pueden configurar el sistema para preferir modelos locales primero si lo desean.

Orquestación del lado del servidor

Toda la orquestación reside en el servidor, con el IDE actuando como un cliente ligero que renderiza la interfaz de usuario, ejecuta herramientas locales (operaciones de archivos, terminal, git) y transmite resultados mediante Eventos Enviados por el Servidor (SSE). El ciclo agéntico, la selección de herramientas, los prompts del sistema y el enrutamiento de LLM ocurren todos en el servidor.

Cuando se utiliza un modelo local, aún pasa por la misma canalización de ejecución gobernada:

• Aplicación de políticas previas a la ejecución (bloquea acciones antes de que se ejecuten)
• Llamadas a funciones nativas a través de las APIs del proveedor (sin inyección de prompts JSON)
• Identidad criptográfica (DSID en Ethereum L2) para cada agente
• Las mismas 59 herramientas locales disponibles independientemente del proveedor de LLM que elijas

Beneficios para usuarios de LLM locales

Para usuarios que ejecutan Ollama localmente, esta arquitectura proporciona:

• Privacidad: La arquitectura de cliente ligero significa que no hay inteligencia de la empresa en el binario, y con modelos locales, los prompts permanecen locales
• Uso de herramientas: 59 herramientas locales con llamadas a funciones nativas, no esquemas JSON inyectados en prompts
• Respaldo: Si un modelo local no puede manejar una tarea compleja, automáticamente recurre a proveedores en la nube

Los desarrolladores están buscando comentarios de personas que ejecutan modelos locales, particularmente sobre el rendimiento de las llamadas a funciones con modelos más pequeños y qué modelos funcionan bien para el uso agéntico de herramientas.

El proyecto es de código abierto en GitHub, y un chat de invitado que demuestra el ecosistema de herramientas está disponible en dev-swat.com (utiliza modelos en la nube).