Прокси с открытым исходным кодом RelayPlane демонстрирует снижение затрат на 73% благодаря маршрутизации моделей Claude.

Открытый прокси для маршрутизации API Claude

RelayPlane — это открытый npm-нативный прокси, который располагается перед API Anthropic. Инструмент был создан с использованием Claude Code, что ускорило разработку. Его можно бесплатно разместить самостоятельно, и он предназначен для обработки маршрутизации между различными моделями Claude в зависимости от сложности запроса.

Результаты тестирования и конфигурация

В тестах использовалась смешанная нагрузка: 60% простых задач и 40% сложных задач. Были сравнены два сценария:

• Прямой доступ (только Sonnet): p50 задержка 1,55 с, стоимость 10 запросов $0,0323
• Через RelayPlane с маршрутизацией: p50 задержка 0,78 с, стоимость 10 запросов $0,0086

Это означает снижение затрат на 73,4%. При 10 000 запросов в день это соответствует примерно $712 ежемесячной экономии.

Конфигурация маршрутизации

Конфигурация маршрутизации проста:

{
  "routing": {
    "complexity": {
      "enabled": true,
      "simple": "claude-haiku-4-5",
      "moderate": "claude-sonnet-4-6",
      "complex": "claude-opus-4-6"
    }
  }
}

Логика маршрутизации использует классификатор сложности, который анализирует количество токенов, индикаторы кода и аналитические ключевые слова. Заголовки ответов включают x-relayplane-routed-model для проверки того, какая модель фактически обработала запрос.

Цены моделей и логика маршрутизации

Система маршрутизации направляет запросы к соответствующим моделям в зависимости от сложности:

• Простые запросы → Haiku ($0,80 за миллион токенов)
• Средние запросы → Sonnet ($3 за миллион токенов)
• Сложные запросы → Opus ($15 за миллион токенов)

Автор отмечает, что классификатор не идеален, но «достаточно хорош, чтобы обеспечить большую часть экономии». Полная методология тестирования доступна в Gist, ссылка на который приведена в исходном материале.