Bifrost LLM Gateway: 11マイクロ秒のオーバーヘッド、Go製のシングルバイナリ

Bifrostとは

Bifrostは、セルフホスト環境向けにGoで書かれたドロップインLLMプロキシです。OpenAI、Anthropic、Azure、Bedrockなどのプロバイダーにリクエストをルーティングしながら、フェイルオーバー、キャッシング、予算管理を処理します。

パフォーマンスベンチマーク

開発者は5,000リクエスト/秒を持続的にベンチマークしました：

• Bifrost (Go): リクエストごとに約11マイクロ秒のオーバーヘッド
• LiteLLM (Python): リクエストごとに約8ミリ秒のオーバーヘッド

これはオーバーヘッドで約700倍の差です。

メモリ使用量の比較

同じスループットで：

• Bifrost: 約50MB RAMベースライン、負荷下でも平坦に保たれる
• LiteLLM: 約300-400MBベースライン、高トラフィック時には800MB以上に急増

開発者は、LiteLLMで2k+ RPSを実行するには水平スケーリングと大規模なインスタンスが必要である一方、Bifrostは月額20ドルのVPSで5k RPSを処理できると指摘しています。

負荷下での安定性

Bifrostのパフォーマンスは負荷下でも一定で、100 RPSでも5,000 RPSでも同じレイテンシを維持します。対照的に、LiteLLMはトラフィックが急増すると予測不可能になります - レイテンシの変動が増加し、メモリが急増し、GCポーズが最悪のタイミングで発生します。

独自機能

Bifrostには、10以上のMCPツールサーバーを接続し、ディスカバリー、名前空間、ヘルスチェック、リクエストごとのツールフィルタリングを処理するMCPゲートウェイが含まれています。LiteLLMはMCPをサポートしていません。

デプロイメントと移行

デプロイメントは単一のバイナリで、Python仮想環境、依存関係の問題、Dockerは必要ありません。サーバーにコピーして実行するだけです。

移行については、APIはOpenAI互換です。ベースURLを変更し、既存のコードを維持でき、ほとんどの移行は1時間以内で完了します。

オープンソースの入手可能性

このプロジェクトはオープンソースで、github.com/maximhq/bifrostで入手可能です。