Самостоятельно размещаемый LLM-шлюз Routerly с маршрутизацией реального времени

Routerly — это саморазмещаемый шлюз для LLM, созданный для устранения пробелов в существующих решениях. Разработчик создал его, потому что OpenRouter является облачным, и ему хотелось чего-то, что можно запускать на собственной инфраструктуре, в то время как маршрутизация в LiteLLM казалась слишком ручной, несмотря на хорошую работу с бюджетированием.

Основные возможности

Вместо того чтобы жёстко прописывать конкретную модель в вашем приложении, Routerly позволяет определять политики маршрутизации, которые определяют выбор модели во время выполнения. Доступные политики включают:

Самая дешёвая
Самая быстрая
Самая способная
Комбинации этих политик

Контроль бюджета работает на уровне проекта с фактическим отслеживанием затрат на токен, обеспечивая детальное управление расходами.

Совместимость и использование

Routerly совместим с OpenAI, что означает, что его можно легко внедрить в существующие рабочие процессы без изменения кода. В частности, упомянутые совместимые инструменты включают:

Cursor
LangChain
Open WebUI

Он работает с "любыми другими" инструментами, которые используют формат API OpenAI.

Текущий статус

Разработчик признаёт, что есть некоторые шероховатости, и ищет обратную связь от сообщества по следующим вопросам:

Что не работает
Чего не хватает
Имеет ли логика маршрутизации смысл на практике
Решает ли это реальную проблему, с которой сталкиваются люди

Инструмент полностью бесплатный и с открытым исходным кодом, без коммерческой рекламы. Разработчик сосредоточен на практической обратной связи от технического сообщества.