Experimental: Puerta de enlace de modelos de código abierto con enrutamiento inteligente

Experiential es una nueva puerta de enlace de modelos de código abierto de experientiallabs que proporciona una API unificada compatible con OpenAI para modelos alojados, BYOK (trae tu propia clave) y locales. La puerta de enlace nativa en Rust añade menos de 1 ms para solicitudes BYOK y menos de 2 ms cuando Experiential suministra la clave del proveedor, e incluye todos los principales proveedores de inferencia y más de 1000 modelos actualizados a diario mediante un agente Codex que abre un PR.

Características principales

• Un panel de control para modelos cerrados, de código abierto, locales y personalizados: mézclalos y combínalos según sea necesario.
• Sin recargos: A diferencia de otros enrutadores que cobran tarifas de tokens del 10%, Experiential no aplica ningún margen en su puerta de enlace alojada, y el código fuente está completamente abierto para autoalojamiento.
• Optimización opcional basada en tráfico: Utiliza trazas estandarizadas de OpenTelemetry para construir un enrutador que elige el modelo óptimo por solicitud según costo/calidad.
• Modelos de mundo de texto que simulan despliegues para varios modelos, un juez LLM los puntúa, y un clasificador de vecinos más cercanos sobre los embeddings de las consultas decide a qué modelo llamar.
• Optimización de caché y sugerencias de nuevos modelos surgen del mismo pipeline de simulación.
• Controles de presupuesto por usuario, agente y caso de uso.

Primeros pasos

Instala y ejecuta la puerta de enlace local:

pip install experiential
 exp

En la primera ejecución, el asistente de configuración conecta los proveedores y asigna una clave de un solo uso. Luego puedes llamar a cualquier modelo a través de la puerta de enlace:

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Ayúdame"}]}'

Optimiza a partir de tu tráfico

Para construir un enrutador personalizado a partir de tus trazas OTel existentes:

exp build support-agent

Este comando te guía a través de proveedores, modelos, presupuesto y te pide tu archivo de trazas. También puedes ajustar un modelo de código abierto a partir de trazas recopiladas usando exp optimize model support-agent. Si solo quieres probarlo, descarga el conjunto de datos público de tareas de terminal:

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

El proyecto está en desarrollo activo (450 commits, 655 estrellas) e incluye un archivo AGENTS.md para las convenciones del repositorio. La telemetría es anónima y se puede desactivar mediante exp config telemetry disable.

Experiential se posiciona como una alternativa directa a puertas de enlace propietarias como OpenRouter, con la promesa de que el enrutamiento simple no justifica un margen del 10% en tokens. Es una opción que vale la pena evaluar si pagas tarifas por token en un enrutador comercial o si manejas múltiples SDK de proveedores.