Experimental: Gateway de Modelos de Código Aberto com Roteamento Inteligente

Experiential é um novo gateway de modelos de código aberto da experientiallabs que fornece uma API unificada compatível com OpenAI para modelos hospedados, BYOK (traga sua própria chave) e locais. O gateway nativo em Rust adiciona menos de 1ms para solicitações BYOK e menos de 2ms quando a Experiential fornece a chave do provedor, e vem com todos os principais provedores de inferência e mais de 1000 modelos atualizados diariamente por meio de um agente Codex que abre um PR.

Principais Recursos

• Um único plano de controle para modelos fechados, de código aberto, locais e personalizados — misture e combine conforme necessário.
• Sem margem: Ao contrário de outros roteadores que cobram taxas de 10% sobre tokens, a Experiential não aplica nenhuma margem em seu gateway hospedado, e o código-fonte é totalmente aberto para auto-hospedagem.
• Otimização baseada em tráfego opcional: Ele usa traces padronizados do OpenTelemetry para construir um roteador que escolhe o modelo ideal para cada solicitação com base em custo/qualidade.
• Modelos de mundo de texto simulam lançamentos para vários modelos, um juiz LLM pontua-os e um classificador de vizinho mais próximo em embeddings de prompt decide qual modelo chamar.
• Otimização de cache e sugestões de novos modelos vêm do mesmo pipeline de simulação.
• Controles de orçamento por usuário, agente e caso de uso.

Começando

Instale e execute o gateway local:

pip install experiential
exp

Na primeira execução, o assistente de configuração conecta os provedores e atribui uma chave de uso único. Então você pode chamar qualquer modelo através do gateway:

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

Otimizando a partir do seu tráfego

Para construir um roteador personalizado a partir dos seus traces OTel existentes:

exp build support-agent

Este comando orienta você pelos provedores, modelos, orçamento e pede seu arquivo de trace. Você também pode ajustar um modelo de código aberto a partir dos traces coletados usando exp optimize model support-agent. Se você quiser apenas experimentar, baixe o conjunto de dados público de tarefas de terminal:

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

O projeto está em desenvolvimento ativo (450 commits, 655 estrelas) e inclui um AGENTS.md para convenções do repositório. A telemetria é anônima e pode ser desativada via exp config telemetry disable.

A Experiential é posicionada como uma alternativa direta a gateways proprietários como o OpenRouter, com a promessa de que roteamento simples não justifica uma margem de 10% sobre tokens. É uma opção que vale a pena avaliar se você está pagando taxas por token em um roteador comercial ou lidando com vários SDKs de provedores.