本番AI IDEにおけるOllamaサポートを備えたマルチプロバイダーLLMフォールバックチェーン

プロダクションAI IDEプラットフォームであるResonant Genesisは、そのアーキテクチャにおいてローカルLLMサポートを第一級プロバイダーとして統合しました。このプラットフォームは30以上のマイクロサービスで動作し、ローカルモデルをGroq、OpenAI、Anthropic、Geminiなどのクラウドプロバイダーと同等に扱います。

アーキテクチャと統合

プラットフォームは、すべてのサービス間でボリュームマウントされた共有のrg_llmライブラリであるUnifiedLLMClientを使用しています。LLM機能を必要とするすべてのマイクロサービスは、この同じクライアントをインポートします。フェイルオーバーチェーンはGroq → OpenAI → Anthropic → Gemini → Ollama/LM Studioとして設定されています。

IDEのシンクライアント拡張機能は、ローカルのOllamaモデルを自動的に検出し、プロバイダーリストに追加します。ユーザーは、必要に応じてシステムをローカルモデルを優先するように設定できます。

サーバーサイドオーケストレーション

すべてのオーケストレーションはサーバーサイドで行われ、IDEはUIをレンダリングし、ローカルツール（ファイル操作、ターミナル、git）を実行し、Server-Sent Events（SSE）を介して結果をストリーミングするシンクライアントとして機能します。エージェントループ、ツール選択、システムプロンプト、LLMルーティングはすべてサーバー上で行われます。

ローカルモデルを使用する場合でも、同じガバナンスされた実行パイプラインを通過します：

• 実行前ポリシー適用（アクションが実行される前にブロック）
• プロバイダーAPIを介したネイティブ関数呼び出し（JSONプロンプトインジェクションなし）
• すべてのエージェントに対する暗号化アイデンティティ（Ethereum L2上のDSID）
• 選択したLLMプロバイダーに関係なく利用可能な59の同じローカルツール

ローカルLLMユーザーへのメリット

ローカルでOllamaを実行しているユーザーにとって、このアーキテクチャは以下を提供します：

• プライバシー： シンクライアントアーキテクチャにより、バイナリに企業のインテリジェンスは含まれず、ローカルモデルを使用するとプロンプトはローカルに留まります
• ツール使用： プロンプトインジェクションされたJSONスキーマではなく、ネイティブ関数呼び出しを備えた59のローカルツール
• フェイルオーバー： ローカルモデルが複雑なタスクを処理できない場合、自動的にクラウドプロバイダーにフェイルオーバーします

開発者は、特に小規模モデルでの関数呼び出しパフォーマンスや、エージェンシックなツール使用に適したモデルについて、ローカルモデルを実行している人々からのフィードバックを求めています。

プロジェクトはGitHubでオープンソースであり、ツールエコシステムを実演するゲストチャットはdev-swat.com（クラウドモデルを使用）でライブです。