Экспериментальный: Open Source модель шлюза с интеллектуальной маршрутизацией

Experiential — это новый шлюз моделей с открытым исходным кодом от experientiallabs, предоставляющий единый OpenAI-совместимый API для хостируемых, BYOK (bring-your-own-key) и локальных моделей. Шлюз, написанный на Rust, добавляет менее 1 мс для BYOK-запросов и менее 2 мс, когда Experiential предоставляет ключ провайдера, и поставляется со всеми основными инференс-провайдерами и более чем 1000 моделей, обновляемых ежедневно через Codex-агента, который открывает PR.

Ключевые особенности

• Единая панель управления для закрытых, открытых, локальных и кастомных моделей — смешивайте и сочетайте по мере необходимости.
• Без наценки: В отличие от других маршрутизаторов, взимающих 10% комиссию за токены, Experiential не берет наценки на своем хостируемом шлюзе, а исходный код полностью открыт для самостоятельного хостинга.
• Оптимизация на основе трафика (по желанию): Использует стандартизированные OpenTelemetry-трейсы для создания маршрутизатора, который выбирает оптимальную модель для каждого запроса на основе стоимости/качества.
• Текстовые мировые модели симулируют раскатки для различных моделей, LLM-судья оценивает их, а классификатор ближайших соседей на эмбеддингах промптов решает, какую модель вызвать.
• Оптимизация кэша и предложения новых моделей появляются из того же конвейера симуляции.
• Контроль бюджета для каждого пользователя, агента и сценария использования.

Начало работы

Установите и запустите локальный шлюз:

pip install experiential
exp

При первом запуске мастер настройки подключит провайдеров и назначит одноразовый ключ. Затем вы можете вызывать любую модель через шлюз:

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

Оптимизация на основе вашего трафика

Чтобы создать собственный маршрутизатор из существующих OTel-трейсов:

exp build support-agent

Эта команда проведет вас через провайдеров, модели, бюджет и запросит ваш файл трейсов. Вы также можете дообучить открытую модель на собранных трейсах с помощью exp optimize model support-agent. Если вы просто хотите попробовать, загрузите публичный набор данных terminal-tasks:

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

Проект активно развивается (450 коммитов, 655 звезд) и включает файл AGENTS.md с соглашениями о репозитории. Телеметрия анонимна и может быть отключена командой exp config telemetry disable.

Experiential позиционируется как прямая альтернатива проприетарным шлюзам, таким как OpenRouter, с обещанием, что простая маршрутизация не оправдывает 10% наценку за токены. Это вариант, который стоит оценить, если вы платите комиссию за токены коммерческому маршрутизатору или используете несколько SDK от разных провайдеров.