Expérientiel : Passerelle de modèles open source avec routage intelligent

Experiential est une nouvelle passerelle de modèles open source d'experientiallabs qui fournit une API unifiée compatible OpenAI pour les modèles hébergés, BYOK (apportez votre propre clé) et locaux. La passerelle native en Rust ajoute moins de 1 ms pour les requêtes BYOK et moins de 2 ms lorsque Experiential fournit la clé du fournisseur, et elle est livrée avec tous les principaux fournisseurs d'inférence et plus de 1000 modèles actualisés quotidiennement via un agent Codex qui ouvre une PR.

Fonctionnalités clés

• Un seul plan de contrôle pour les modèles fermés, open source, locaux et personnalisés — mélangez et assortissez selon vos besoins.
• Pas de majoration : Contrairement à d'autres routeurs qui facturent des frais de 10 % sur les tokens, Experiential ne prend aucune majoration sur sa passerelle hébergée, et le code source est entièrement ouvert pour l'auto-hébergement.
• Optimisation opt-in basée sur le trafic : Il utilise des traces OpenTelemetry standardisées pour construire un routeur qui sélectionne le modèle optimal par requête en fonction du coût/qualité.
• Modèles de monde textuels simulent des déploiements pour divers modèles, un juge LLM les note, et un classificateur de plus proche voisin sur les embeddings de prompt décide quel modèle appeler.
• Optimisation du cache et suggestions de nouveaux modèles proviennent du même pipeline de simulation.
• Contrôles budgétaires par utilisateur, agent et cas d'utilisation.

Pour commencer

Installez et exécutez la passerelle locale :

pip install experiential
exp

Au premier lancement, l'assistant de configuration connecte les fournisseurs et attribue une clé à usage unique. Ensuite, vous pouvez appeler n'importe quel modèle via la passerelle :

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Aidez-moi"}]}'

Optimisation à partir de votre trafic

Pour construire un routeur personnalisé à partir de vos traces OTel existantes :

exp build support-agent

Cette commande vous guide à travers les fournisseurs, les modèles, le budget, et demande votre fichier de traces. Vous pouvez également affiner un modèle open source à partir des traces collectées en utilisant exp optimize model support-agent. Si vous voulez simplement essayer, récupérez le jeu de données public de tâches terminal :

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

Le projet est en développement actif (450 commits, 655 étoiles) et inclut un fichier AGENTS.md pour les conventions du dépôt. La télémétrie est anonyme et peut être désactivée via exp config telemetry disable.

Experiential se positionne comme une alternative directe aux passerelles propriétaires comme OpenRouter, avec la promesse qu'un routage simple ne justifie pas une majoration de 10 % sur les tokens. C'est une option à évaluer si vous payez des frais par token sur un routeur commercial ou si vous jonglez avec plusieurs SDK de fournisseurs.