Routerly: Самостоятельно размещаемый шлюз для LLM с политиками маршрутизации в реальном времени и контролем бюджета

Routerly — это саморазмещаемый шлюз для LLM, созданный для устранения пробелов в существующих решениях. Разработчик создал его, потому что OpenRouter является облачным, и ему хотелось чего-то, что можно запускать на собственной инфраструктуре, в то время как маршрутизация в LiteLLM казалась слишком ручной, несмотря на хорошую работу с бюджетированием.

Основные возможности

Вместо того чтобы жёстко прописывать конкретную модель в вашем приложении, Routerly позволяет определять политики маршрутизации, которые определяют выбор модели во время выполнения. Доступные политики включают:

• Самая дешёвая
• Самая быстрая
• Самая способная
• Комбинации этих политик

Контроль бюджета работает на уровне проекта с фактическим отслеживанием затрат на токен, обеспечивая детальное управление расходами.

Совместимость и использование

Routerly совместим с OpenAI, что означает, что его можно легко внедрить в существующие рабочие процессы без изменения кода. В частности, упомянутые совместимые инструменты включают:

• Cursor
• LangChain
• Open WebUI

Он работает с "любыми другими" инструментами, которые используют формат API OpenAI.

Текущий статус

Разработчик признаёт, что есть некоторые шероховатости, и ищет обратную связь от сообщества по следующим вопросам:

• Что не работает
• Чего не хватает
• Имеет ли логика маршрутизации смысл на практике
• Решает ли это реальную проблему, с которой сталкиваются люди

Инструмент полностью бесплатный и с открытым исходным кодом, без коммерческой рекламы. Разработчик сосредоточен на практической обратной связи от технического сообщества.

Ресурсы

• Репозиторий на GitHub: https://github.com/Inebrio/Routerly
• Веб-сайт: https://www.routerly.ai