エクスペリエンシャル：スマートルーティングを備えたオープンソースモデルゲートウェイ

Experientialは、experientiallabsによる新しいオープンソースのモデルゲートウェイで、ホスト型、BYOK（bring-your-own-key）、およびローカルモデルに対して統一されたOpenAI互換APIを提供します。Rustネイティブのゲートウェイは、BYOKリクエストでは1ms未満、Experientialがプロバイダーキーを供給する場合は2ms未満のオーバーヘッドを追加し、すべての主要な推論プロバイダーと、CodexエージェントがPRを開いて毎日更新される1000以上のモデルが含まれています。

主な機能

• 単一のコントロールプレーン：クローズド、オープンソース、ローカル、カスタムモデルを必要に応じて混在させられます。
• マークアップなし：他のルーターが10%のトークン手数料を請求するのに対し、Experientialはホスト型ゲートウェイでマークアップを一切取らず、ソースは完全にオープンでセルフホスティング可能です。
• オプトインのトラフィックベース最適化：標準化されたOpenTelemetryトレースを使用して、コストと品質に基づいてリクエストごとに最適なモデルを選択するルーターを構築します。
• テキストワールドモデル：さまざまなモデルのロールアウトをシミュレートし、LLMジャッジがスコアリングし、プロンプト埋め込みの最近傍分類器が呼び出すモデルを決定します。
• キャッシュ最適化と新しいモデルの提案は、同じシミュレーションパイプラインから得られます。
• 予算管理：ユーザー、エージェント、ユースケースごとに設定可能です。

はじめに

ローカルゲートウェイをインストールして実行します：

pip install experiential
exp

初回実行時に、セットアップウィザードがプロバイダーを接続し、ワンタイムキーを割り当てます。その後、ゲートウェイを介して任意のモデルを呼び出すことができます：

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

トラフィックからの最適化

既存のOTelトレースからカスタムルーターを構築するには：

exp build support-agent

このコマンドは、プロバイダー、モデル、予算を順に尋ね、トレースファイルを要求します。また、exp optimize model support-agentを使用して、収集したトレースからオープンソースモデルを微調整することもできます。試してみたい場合は、公開のターミナルタスクデータセットを取得してください：

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

このプロジェクトは活発に開発されており（450コミット、655スター）、リポジトリの規約を示すAGENTS.mdが含まれています。テレメトリは匿名で、exp config telemetry disableで無効にできます。

Experientialは、OpenRouterなどのプロプライエタリなゲートウェイの直接の代替として位置付けられており、単純なルーティングは10%のトークンマークアップを正当化しないという約束があります。商用ルーターでトークンごとの手数料を支払っている場合や、複数のプロバイダーSDKを扱っている場合は、評価する価値のある選択肢です。