Chaîne de secours LLM multi-fournisseurs avec prise en charge Ollama dans l'IDE IA de production

Resonant Genesis, une plateforme IDE IA de production, a intégré le support des LLM locaux en tant que fournisseur de premier plan dans son architecture. La plateforme s'exécute sur plus de 30 microservices et traite les modèles locaux sur un pied d'égalité avec les fournisseurs cloud comme Groq, OpenAI, Anthropic et Gemini.

Architecture et intégration

La plateforme utilise une bibliothèque partagée rg_llm appelée UnifiedLLMClient qui est montée en volume sur tous les services. Chaque microservice nécessitant des capacités LLM importe ce même client. La chaîne de repli est configurée comme suit : Groq → OpenAI → Anthropic → Gemini → Ollama/LM Studio.

L'extension client léger de l'IDE découvre automatiquement les modèles Ollama locaux et les ajoute à la liste des fournisseurs. Les utilisateurs peuvent configurer le système pour privilégier d'abord les modèles locaux s'ils le souhaitent.

Orchestration côté serveur

Toute l'orchestration se fait côté serveur, l'IDE agissant comme un client léger qui affiche l'interface utilisateur, exécute les outils locaux (opérations sur fichiers, terminal, git) et diffuse les résultats via Server-Sent Events (SSE). La boucle agentique, la sélection d'outils, les invites système et le routage LLM se produisent tous sur le serveur.

Lors de l'utilisation d'un modèle local, il passe toujours par le même pipeline d'exécution régulé :

• Application des politiques pré-exécution (bloque les actions avant leur exécution)
• Appel de fonctions natif via les API des fournisseurs (pas d'injection JSON dans les invites)
• Identité cryptographique (DSID sur Ethereum L2) pour chaque agent
• Les mêmes 59 outils locaux disponibles quel que soit le fournisseur LLM choisi

Avantages pour les utilisateurs de LLM locaux

Pour les utilisateurs exécutant Ollama localement, cette architecture offre :

• Confidentialité : L'architecture client léger signifie qu'aucune intelligence d'entreprise n'est dans le binaire, et avec les modèles locaux, les invites restent locales
• Utilisation d'outils : 59 outils locaux avec appel de fonctions natif, pas de schémas JSON injectés dans les invites
• Repli : Si un modèle local ne peut pas gérer une tâche complexe, il bascule automatiquement vers les fournisseurs cloud

Les développeurs sollicitent les retours des personnes utilisant des modèles locaux, notamment concernant les performances d'appel de fonctions avec des modèles plus petits et quels modèles fonctionnent bien pour l'utilisation agentique d'outils.

Le projet est open source sur GitHub, et un chat invité démontrant l'écosystème d'outils est en ligne sur dev-swat.com (utilise des modèles cloud).