라우터리: 런타임 라우팅 정책과 예산 제어 기능을 갖춘 셀프 호스팅 LLM 게이트웨이

Routerly는 기존 솔루션의 격차를 해결하기 위해 구축된 셀프 호스팅 LLM 게이트웨이입니다. 개발자는 OpenRouter가 클라우드 기반이고, 자신의 인프라에서 실행 가능한 무언가를 원했으며, LiteLLM의 라우팅은 예산 관리가 잘 되더라도 너무 수동적으로 느껴졌기 때문에 이를 만들었습니다.

핵심 기능

애플리케이션에 특정 모델을 하드코딩하는 대신, Routerly를 사용하면 런타임에 모델 선택을 결정하는 라우팅 정책을 정의할 수 있습니다. 사용 가능한 정책은 다음과 같습니다:

• 가장 저렴한
• 가장 빠른
• 가장 능력 있는
• 이러한 정책들의 조합

예산 제어는 실제 토큰당 추적과 함께 프로젝트 수준에서 작동하여 세분화된 비용 관리를 제공합니다.

호환성 및 사용

Routerly는 OpenAI와 호환되므로 코드 변경 없이 기존 워크플로에 바로 적용할 수 있습니다. 구체적으로 언급된 호환 도구는 다음과 같습니다:

• Cursor
• LangChain
• Open WebUI

이는 OpenAI API 형식을 사용하는 "그 외 모든 것"과도 작동합니다.

현재 상태

개발자는 아직 부족한 부분이 있음을 인정하고 커뮤니티의 피드백을 구하고 있습니다:

• 무엇이 고장 났는지
• 무엇이 누락되었는지
• 라우팅 로직이 실제로 합리적인지
• 사람들이 실제로 겪는 문제를 해결하는지

이 도구는 완전히 무료이며 오픈소스이고, 상업적인 판매 제안은 없습니다. 개발자는 기술 커뮤니티로부터 실용적인 피드백에 집중하고 있습니다.

자료

• GitHub 저장소: https://github.com/Inebrio/Routerly
• 웹사이트: https://www.routerly.ai