RelayPlaneオープンソースプロキシ、Claudeモデルルーティングで73%のコスト削減を実現

Claude APIルーティングのためのオープンソースプロキシ
RelayPlaneは、Anthropic APIの前に配置されるオープンソースのnpmネイティブプロキシです。このツールはClaude Codeを使用して構築され、開発を加速させました。セルフホストは無料で、プロンプトの複雑度に基づいて異なるClaudeモデル間のルーティングを処理するように設計されています。
ベンチマーク結果と設定
ベンチマークでは、60%の単純タスクと40%の複雑タスクを含む混合ワークロードを使用しました。2つのシナリオを比較しました:
- 直接(すべてSonnet): p50レイテンシ 1.55秒、10リクエストあたりのコスト 0.0323ドル
- RelayPlane経由のルーティング: p50レイテンシ 0.78秒、10リクエストあたりのコスト 0.0086ドル
これは73.4%のコスト削減を表しています。1日あたり10,000リクエストの場合、これは月間約712ドルの節約に相当します。
ルーティング設定
ルーティング設定はシンプルです:
{
"routing": {
"complexity": {
"enabled": true,
"simple": "claude-haiku-4-5",
"moderate": "claude-sonnet-4-6",
"complex": "claude-opus-4-6"
}
}
}ルーティングロジックは、トークン数、コード指標、分析キーワードを調べる複雑度分類器を使用します。レスポンスヘッダーには、どのモデルが実際にリクエストを処理したかを確認するためのx-relayplane-routed-modelが含まれます。
モデル価格とルーティングロジック
ルーティングシステムは、複雑度に基づいてプロンプトを適切なモデルに振り分けます:
- 単純なプロンプト → Haiku(100万トークンあたり0.80ドル)
- 中程度のプロンプト → Sonnet(100万トークンあたり3ドル)
- 複雑なプロンプト → Opus(100万トークンあたり15ドル)
著者は、分類器は完璧ではないが「節約の大部分を捉えるには十分である」と述べています。完全なベンチマーク手法は、ソース資料にリンクされているGistで利用可能です。
📖 Read the full source: r/ClaudeAI
👀 See Also

Airbyteエージェント:AIエージェント向け事前インデックス化コンテキストレイヤー vs 生APIのMCP
AirbyteがAirbyte Agentsを発表。これは、Slack、Salesforce、Linear、Zendesk、Gongなどの運用システムからデータを事前にインデックス化するコンテキストレイヤーで、直接ベンダーMCPと比較してエージェントのトークン消費を最大90%削減します。

マルチエージェントAI開発のためのガバナンスレイヤーの区切り
Delimitは、複数のAIコーディングエージェント間の調整を管理し、競合を防止するオープンソースのガバナンスレイヤーです。Claude Code、Codex、Geminiなどのエージェントに対して、共有メモリ、衝突検出、監査追跡を提供します。

Monarch v3: NES-Inspired KV Paging for 78% Faster LLM Inference
Monarch v3 implements NES-inspired memory paging for transformers, achieving 78% faster inference (17.01 to 30.42 tok/sec) on a 1.1B parameter model with nearly zero VRAM overhead. The open-source algorithm splits KV cache into hot and cold regions with compression and promotion mechanisms.

マーキー:エージェント生成ドキュメント用の軽量マークダウンビューアー
Markyは、Tauri v2とReactで構築されたデスクトップMarkdownビューアで、ターミナルから.mdファイルをライブリロードで開きます。CLIファーストの使用法、Shikiによるシンタックスハイライト、KaTeX数式サポート、Mermaidダイアグラム、フォルダ用ワークスペースを特徴としています。