Routerly：ランタイムルーティングポリシーと予算管理を備えたセルフホスト型LLMゲートウェイ

Routerlyは、既存のソリューションのギャップを埋めるために構築されたセルフホスト型LLMゲートウェイです。開発者がこれを開発した理由は、OpenRouterがクラウドベースである一方、自社のインフラストラクチャで実行可能なものを求めたこと、そしてLiteLLMは予算管理は優れているものの、ルーティングが手動すぎると感じたためです。

主な機能

アプリケーションで特定のモデルをハードコードする代わりに、Routerlyではランタイムでモデル選択を決定するルーティングポリシーを定義できます。利用可能なポリシーは以下の通りです：

• 最安値
• 最速
• 最高性能
• これらのポリシーの組み合わせ

予算管理はプロジェクトレベルで機能し、実際のトークン単位の追跡により、きめ細かいコスト管理を実現します。

互換性と使用法

RouterlyはOpenAI互換であり、コード変更なしで既存のワークフローに組み込むことができます。特に言及されている互換ツールは以下の通りです：

• Cursor
• LangChain
• Open WebUI

OpenAI API形式を使用する「その他のツール」とも連携します。

現在の状況

開発者は、まだ改善の余地があることを認めており、以下の点についてコミュニティからのフィードバックを求めています：

• 何が壊れているか
• 何が不足しているか
• ルーティングロジックが実際に理にかなっているか
• 人々が抱える実際の問題を解決しているか

このツールは完全に無料でオープンソースであり、商業的な販売促進はありません。開発者は技術コミュニティからの実用的なフィードバックに焦点を当てています。

リソース

• GitHubリポジトリ: https://github.com/Inebrio/Routerly
• ウェブサイト: https://www.routerly.ai