실험적: 스마트 라우팅을 갖춘 오픈 소스 모델 게이트웨이

Experiential은 experientiallabs에서 제공하는 새로운 오픈 소스 모델 게이트웨이로, 호스팅, BYOK(자체 키 사용), 로컬 모델을 위한 통합된 OpenAI 호환 API를 제공합니다. Rust 기반의 이 게이트웨이는 BYOK 요청에 대해 1ms 미만, Experiential이 공급자 키를 제공할 때는 2ms 미만의 오버헤드를 추가하며, 모든 주요 추론 공급자와 매일 Codex 에이전트가 PR을 열어 갱신되는 1000개 이상의 모델을 지원합니다.

주요 기능

• 단일 컨트롤 플레인으로 폐쇄형, 오픈소스, 로컬, 사용자 정의 모델을 필요에 따라 혼합하여 사용할 수 있습니다.
• 마크업 없음: 다른 라우터들이 10% 토큰 수수료를 부과하는 반면, Experiential은 호스팅 게이트웨이에서 수수료를 전혀 부과하지 않으며, 소스는 셀프 호스팅을 위해 완전히 공개되어 있습니다.
• 옵트인 트래픽 기반 최적화: 표준화된 OpenTelemetry 트레이스를 사용하여 요청별로 비용과 품질에 따라 최적의 모델을 선택하는 라우터를 구축합니다.
• 텍스트 세계 모델이 다양한 모델에 대한 롤아웃을 시뮬레이션하고, LLM 심사위원이 점수를 매긴 후, 프롬프트 임베딩에 대한 최근접 이웃 분류기가 호출할 모델을 결정합니다.
• 캐시 최적화와 새로운 모델 제안은 동일한 시뮬레이션 파이프라인에서 나옵니다.
• 예산 제어는 사용자, 에이전트, 사용 사례별로 가능합니다.

시작하기

로컬 게이트웨이를 설치하고 실행합니다:

pip install experiential
exp

첫 실행 시 설정 마법사가 공급자를 연결하고 일회용 키를 할당합니다. 그런 다음 게이트웨이를 통해 모든 모델을 호출할 수 있습니다:

export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

트래픽에서 최적화

기존 OTel 트레이스에서 맞춤형 라우터를 구축하려면:

exp build support-agent

이 명령은 공급자, 모델, 예산을 안내하고 트레이스 파일을 요청합니다. 수집된 트레이스를 사용하여 오픈 소스 모델을 미세 조정하려면 exp optimize model support-agent를 사용할 수도 있습니다. 바로 사용해 보려면 공개 터미널 작업 데이터 세트를 가져오세요:

curl -L -o traces.otel.jsonl https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl

이 프로젝트는 활발히 개발 중이며(450 커밋, 655 스타), 저장소 규칙을 위한 AGENTS.md를 포함합니다. 원격 분석은 익명이며 exp config telemetry disable로 비활성화할 수 있습니다.

Experiential은 OpenRouter와 같은 독점 게이트웨이의 직접적인 대안으로, 단순 라우팅이 10% 토큰 인상의 정당화되지 않는다는 입장입니다. 상용 라우터에서 토큰당 수수료를 지불하거나 여러 공급자 SDK를 사용한다면 평가할 가치가 있는 옵션입니다.