コスト効率の高いAIタスクルーティングのためのRouteLLMセットアップ
ハイブリッドAIセットアップのためのDocker Compose構成
Redditユーザーが、「貧者のスーパーインテリジェンス」と呼ぶハイブリッドAIシステムを実装した詳細なDocker Composeセットアップを投稿しました。このシステムは、複雑度に基づいてタスクをローカルモデルとクラウドモデル間でルーティングします。
主要コンポーネント
このシステムは4つの主要サービスを使用します：
- vscode-openwire：イメージ
sendmeticket/vscode-openwire:1.0.0を使用し、ポート3000と3030を公開。これによりOpenWire経由でGitHub Copilotにアクセスできますが、ソースではこれが利用規約に違反する可能性があり、代わりに利用可能なAPIキーの使用を推奨しています。 - ollama：
ollama/ollama:latestを実行し、ポート11434を公開。ローカルの「弱い」モデルとしてqwen3.5:4bモデルを自動的にプルして提供します。 - openroutellm：イメージ
sendmeticket/openroutellm:1.0.0をポート6060で使用。これは各リクエストをどのモデルが処理するかを決定するルーティングサービスです。 - openclaw：
ghcr.io/openclaw/openclaw:latestを実行し、ポート18789と18790を公開。メインインターフェースとして機能します。
RouteLLM構成
openroutellmサービスは特定のパラメータで構成されています：
python -m routellm.openai_server --routers bert --default-router-threshold 0.75 --port 6060 --openwire-base-url http://vscode-openwire:3030/v1 --ollama-base-url http://ollama:11434/v1 --strong-model gpt-4o --weak-model qwen3.5:4bこのセットアップは、BERTベースのルーティングと0.75の閾値を使用して、タスクを「強い」モデル（GPT-4o）とローカルの「弱い」モデル（Qwen3.5:4b）のどちらに送るかを決定します。
動作の仕組み
このシステムは、難しいタスクをOpenWire/Copilot経由で有料のGPT-4oモデルにルーティングし、単純なタスクはOllamaで実行されているローカルのQwen3.5:4bモデルで処理します。これにより、作者が「フェイルセーフでローカルファースト、低い基本知能だが非常に高い最大知能を持つAIモデル」と表現するものが実現されます。
すべてのサービスはカスタムDockerネットワーク（openclaw_net、サブネット172.10.10.0/24）を介して接続され、サービスの可用性を確保するためのヘルスチェックが含まれています。
📖 完全なソースを読む： r/LocalLLaMA
👀 See Also
エージェントファクトリー：永続的なAIサブエージェントチームのためのClaudeコードプラグイン
Agent-factoryは、Claude Codeのプラグインで、個性とファイルベースのメモリを持つ永続的なサブエージェントチームを作成します。対話型インタビュープロセスを通じてプロジェクトごとに2〜5人のエージェントを構築し、各エージェントにはコードレビュー、技術的負債の追跡、戦略立案などの特定の役割があります。
決定パスポート：AIエージェント実行ガバナンスのための監査レイヤー
Claude Codeの流出は、AIエージェントのガバナンスにおけるギャップを浮き彫りにしています。Decision Passportは、追記のみ可能な実行記録、ポータブルな証明バンドル、オフライン検証による改ざん検知可能な監査証跡でこの課題に対処します。
開発者が現実的なリレーショナルデータベース生成ツールを構築
開発者が、外部キー関係とテーブル間の整合性が保たれたテストデータベースを作成する問題を解決する、現実的なデータを備えた完全なリレーショナルデータベースを生成するツールを構築しました。
RAG-EngramアーキテクチャでファインチューニングされたQwen3.5-2Bは、8Kコンテキストにおいて根拠に基づいた回答の精度を50%から93%に向上させます。
開発者がカスタムRAG-EngramアーキテクチャでQwen3.5-2Bをファインチューニングし、『中間喪失』現象に対処。実世界のクエリにおいて8Kトークンでの正解率を50%から93%に向上させました。このシステムは、静的エンティティ埋め込みと動的チャンクナビゲーションの2段階アプローチを採用しています。