Erfahrungsbasiert: Open-Source-Modell-Gateway mit intelligentem Routing

Experiential ist ein neues Open-Source-Modell-Gateway von experientiallabs, das eine einheitliche OpenAI-kompatible API für gehostete, BYOK (bring-your-own-key) und lokale Modelle bereitstellt. Das in Rust implementierte Gateway fügt weniger als 1ms für BYOK-Anfragen und weniger als 2ms hinzu, wenn Experiential den Provider-Schlüssel bereitstellt, und wird mit jedem großen Inferenzanbieter und über 1000 Modellen geliefert, die täglich über einen Codex-Agenten aktualisiert werden, der einen PR eröffnet.

Hauptfunktionen

• Eine Steuerungsebene für geschlossene, Open-Source-, lokale und benutzerdefinierte Modelle – kombinieren Sie sie nach Bedarf.
• Kein Aufschlag: Im Gegensatz zu anderen Routern, die 10% Token-Gebühren verlangen, erhebt Experiential keinen Aufschlag auf ihr gehostetes Gateway, und der Quellcode ist für Self-Hosting vollständig offen.
• Optimierung auf Basis des Datenverkehrs (optional): Es verwendet standardisierte OpenTelemetry-Traces, um einen Router zu erstellen, der das optimale Modell pro Anfrage basierend auf Kosten/Qualität auswählt.
• Text-Weltmodelle simulieren Rollouts für verschiedene Modelle, ein LLM-Judge bewertet sie, und ein Nächste-Nachbarn-Klassifikator auf Prompt-Embeddings entscheidet, welches Modell aufgerufen wird.
• Cache-Optimierung und neue Modellvorschläge entstehen aus derselben Simulationspipeline.
• Budgetkontrollen pro Benutzer, Agent und Anwendungsfall.

Erste Schritte

Installieren und starten Sie das lokale Gateway:

pip install experiential

Beim ersten Start verbindet der Setup-Assistent die Anbieter und weist einen einmaligen Schlüssel zu. Dann können Sie jedes Modell über das Gateway aufrufen:

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

Optimierung mit Ihrem Datenverkehr

So erstellen Sie einen benutzerdefinierten Router aus Ihren vorhandenen OTel-Traces:

exp build support-agent

Dieser Befehl führt Sie durch Anbieter, Modelle, Budget und fragt nach Ihrer Trace-Datei. Sie können auch ein Open-Source-Modell aus gesammelten Traces mit exp optimize model support-agent feinabstimmen. Wenn Sie es einfach ausprobieren möchten, laden Sie den öffentlichen Terminal-Tasks-Datensatz herunter:

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

Das Projekt wird aktiv weiterentwickelt (450 Commits, 655 Sterne) und enthält eine AGENTS.md für Repository-Konventionen. Telemetrie ist anonym und kann über exp config telemetry disable deaktiviert werden.

Experiential positioniert sich als direkte Alternative zu proprietären Gateways wie OpenRouter, mit dem Versprechen, dass einfaches Routing keinen 10% Token-Aufschlag rechtfertigt. Es ist eine Option, die es wert ist, evaluiert zu werden, wenn Sie pro Token Gebühren bei einem kommerziellen Router zahlen oder mehrere Provider-SDKs jonglieren.