RelayPlane 오픈소스 프록시, Claude 모델 라우팅으로 73% 비용 절감 효과 확인

Claude API 라우팅을 위한 오픈 소스 프록시

RelayPlane은 Anthropic API 앞에 위치하는 오픈 소스 npm 네이티브 프록시입니다. 이 도구는 Claude Code를 사용하여 개발 속도를 가속화하며 구축되었습니다. 자체 호스팅이 무료이며, 프롬프트 복잡도에 따라 다양한 Claude 모델 간 라우팅을 처리하도록 설계되었습니다.

벤치마크 결과 및 구성

벤치마크는 60% 단순 작업과 40% 복잡 작업으로 구성된 혼합 워크로드를 사용했습니다. 두 가지 시나리오를 비교했습니다:

• 직접 연결 (모두 Sonnet): p50 지연 시간 1.55초, 10회 요청당 비용 $0.0323
• RelayPlane 라우팅 사용: p50 지연 시간 0.78초, 10회 요청당 비용 $0.0086

이는 73.4%의 비용 절감을 의미합니다. 하루 10,000회 요청 기준으로 약 $712의 월간 절감 효과로 이어집니다.

라우팅 구성

라우팅 구성은 간단합니다:

{
  "routing": {
    "complexity": {
      "enabled": true,
      "simple": "claude-haiku-4-5",
      "moderate": "claude-sonnet-4-6",
      "complex": "claude-opus-4-6"
    }
  }
}

라우팅 로직은 토큰 수, 코드 표시자, 분석 키워드를 검사하는 복잡도 분류기를 사용합니다. 응답 헤더에는 실제로 요청을 처리한 모델을 확인할 수 있는 x-relayplane-routed-model이 포함됩니다.

모델 가격 및 라우팅 로직

라우팅 시스템은 복잡도에 따라 프롬프트를 적절한 모델로 전달합니다:

• 단순 프롬프트 → Haiku (백만 토큰당 $0.80)
• 중간 복잡도 프롬프트 → Sonnet (백만 토큰당 $3)
• 복잡한 프롬프트 → Opus (백만 토큰당 $15)

저자는 분류기가 완벽하지는 않지만 "절감 효과의 대부분을 포착하기에 충분하다"고 언급했습니다. 전체 벤치마크 방법론은 소스 자료에 링크된 Gist에서 확인할 수 있습니다.