Routerly：ランタイムルーティングポリシーと予算管理を備えたセルフホスト型LLMゲートウェイ
Routerlyは、既存のソリューションのギャップを埋めるために構築されたセルフホスト型LLMゲートウェイです。開発者がこれを開発した理由は、OpenRouterがクラウドベースである一方、自社のインフラストラクチャで実行可能なものを求めたこと、そしてLiteLLMは予算管理は優れているものの、ルーティングが手動すぎると感じたためです。
主な機能
アプリケーションで特定のモデルをハードコードする代わりに、Routerlyではランタイムでモデル選択を決定するルーティングポリシーを定義できます。利用可能なポリシーは以下の通りです：
- 最安値
- 最速
- 最高性能
- これらのポリシーの組み合わせ
予算管理はプロジェクトレベルで機能し、実際のトークン単位の追跡により、きめ細かいコスト管理を実現します。
互換性と使用法
RouterlyはOpenAI互換であり、コード変更なしで既存のワークフローに組み込むことができます。特に言及されている互換ツールは以下の通りです：
- Cursor
- LangChain
- Open WebUI
OpenAI API形式を使用する「その他のツール」とも連携します。
現在の状況
開発者は、まだ改善の余地があることを認めており、以下の点についてコミュニティからのフィードバックを求めています：
- 何が壊れているか
- 何が不足しているか
- ルーティングロジックが実際に理にかなっているか
- 人々が抱える実際の問題を解決しているか
このツールは完全に無料でオープンソースであり、商業的な販売促進はありません。開発者は技術コミュニティからの実用的なフィードバックに焦点を当てています。
リソース
- GitHubリポジトリ: https://github.com/Inebrio/Routerly
- ウェブサイト: https://www.routerly.ai
📖 Read the full source: r/LocalLLaMA
👀 See Also
Claude Code Matrix チャンネルプラグイン Rust製 E2EEサポート内蔵
ある開発者がClaude Code用のMatrixチャネルプラグインを開発し、公式チャネルがDiscordとTelegramのみをサポートしていたギャップを埋めました。このプラグインはRustで構築され、約24時間で開発されました。
Codegraph: 事前インデックス化された知識グラフがClaude/Cursorのツール呼び出しを94%削減
Codegraphは、シンボル関係、コールグラフ、コード構造の事前インデックス化されたナレッジグラフを使用して、APIツールコールを最大94%削減し、Claude、Cursor、Codex、OpenCodeエージェントでの使用速度を約77%向上させます。
Monarch v3: NES-Inspired KV Paging for 78% Faster LLM Inference
Monarch v3 implements NES-inspired memory paging for transformers, achieving 78% faster inference (17.01 to 30.42 tok/sec) on a 1.1B parameter model with nearly zero VRAM overhead. The open-source algorithm splits KV cache into hot and cold regions with compression and promotion mechanisms.
OpenClawスキルは、ローカルのComfyUIサポートと厳選されたプロンプトを備えたAI画像生成機能を追加します。
新しいOpenClawスキル「creative-toolkit」は、ターミナル環境内で直接AI画像生成機能を提供します。1,300以上の厳選されたプロンプト、ローカルComfyUI統合、プロンプト拡張ワークフローを特徴としています。