Routerly: Puerta de Enlace LLM Autohospedada con Políticas de Enrutamiento en Tiempo de Ejecución y Control de Presupuesto

Routerly es una puerta de enlace LLM autoalojada creada para abordar las carencias de las soluciones existentes. El desarrollador la creó porque OpenRouter está basado en la nube y querían algo que pudiera ejecutarse en su propia infraestructura, mientras que el enrutamiento de LiteLLM les parecía demasiado manual a pesar de manejar bien el presupuesto.

Características principales

En lugar de codificar un modelo específico en tu aplicación, Routerly te permite definir políticas de enrutamiento que determinan la selección del modelo en tiempo de ejecución. Las políticas disponibles incluyen:

• Más barato
• Más rápido
• Más capaz
• Combinaciones de estas políticas

El control del presupuesto opera a nivel de proyecto con seguimiento real por token, proporcionando una gestión de costos granular.

Compatibilidad y uso

Routerly es compatible con OpenAI, lo que significa que puede integrarse en flujos de trabajo existentes sin cambios de código. Las herramientas compatibles mencionadas específicamente incluyen:

• Cursor
• LangChain
• Open WebUI

Funciona con "cualquier otra cosa" que utilice el formato de API de OpenAI.

Estado actual

El desarrollador reconoce que hay aspectos por pulir y está buscando comentarios de la comunidad sobre:

• Qué está roto
• Qué falta
• Si la lógica de enrutamiento tiene sentido en la práctica
• Si resuelve un problema real que tienen las personas

La herramienta es completamente gratuita y de código abierto, sin ningún discurso comercial de venta. El desarrollador se centra en comentarios prácticos de la comunidad técnica.

Recursos

• Repositorio de GitHub: https://github.com/Inebrio/Routerly
• Sitio web: https://www.routerly.ai