ローカル・クラウドハイブリッドAIアーキテクチャ：r/LocalLLaMAに触発された実践パターン

r/LocalLLaMAコミュニティでは、パフォーマンス、効率性、プライバシーを両立するため、ローカルモデルとクラウドモデルを組み合わせたハイブリッドAIアーキテクチャが議論されています。核となるアイデアは、ローカルモデルを低負荷タスク用の電気モーターのように、クラウドモデルを高負荷処理用のガスエンジンのように扱うことです。

ハイブリッドモデルのコンセプト

ローカルモデルは日常的な低レイテンシのタスクを処理します。知識や能力のギャップに直面すると、単一のAPI呼び出しでクラウドモデルを呼び出します。ローカルモデルは以下の内容を含む簡潔なプロンプトを送信します。

• 既に行ったこと（実行したコマンド、呼び出したツール）
• 行き詰まっている箇所（エラーメッセージ、曖昧な結果）
• 次に何をしたいか（計画、トラブルシューティング）

悪いプロンプトの例：「Ollamaの2つのバージョンをデプロイするのを手伝って」

良いプロンプトの例：「docker run ...とdocker psを実行しましたが、ABCエラーが続いています。次に何をすべきですか？」

決定論的な「ハイパーバイザー」－ガードレール

人間の承認だけに頼るのではなく、この投稿では非LLMのガードレールを提案しています。

• rm -rfやshutdownなどの危険なパターンに対する正規表現アラート
• 「前の指示を無視して」などのフレーズに対するプロンプト監視
• ローカルモデルがクラウドにあまりに早くクエリを送信した場合にセッションをブロックするレート制限

次のステップ

著者は、すべてのコンテキストを1つのメッセージに含めたローカルからクラウドへのリクエストフローをプロトタイプ化し、正規表現チェック用の軽量ハイパーバイザースクリプトを作成し、ツール呼び出しの監視を統合し、安全性のために正規表現から小さな決定論的LLMへと反復することを提案しています。

元の投稿は既存のプロジェクト RecursiveMAS にリンクしており、これも同様のアイデアを実装しているようです。

この議論は、クラウドコストを削減しながら安全性と能力を維持したいと考えているエージェントシステムを構築する開発者にとって関連性があります。