Routerly : Passerelle LLM auto-hébergée avec politiques de routage en temps réel et contrôle budgétaire

Routerly est une passerelle LLM auto-hébergée conçue pour combler les lacunes des solutions existantes. Le développeur l'a créée parce qu'OpenRouter est basé sur le cloud, et il voulait quelque chose d'exécutable sur sa propre infrastructure, tandis que le routage de LiteLLM semblait trop manuel malgré une bonne gestion du budget.

Fonctionnalités principales

Au lieu de coder en dur un modèle spécifique dans votre application, Routerly vous permet de définir des politiques de routage qui déterminent la sélection du modèle en temps réel. Les politiques disponibles incluent :

• Le moins cher
• Le plus rapide
• Le plus performant
• Des combinaisons de ces politiques

Le contrôle budgétaire fonctionne au niveau du projet avec un suivi réel par token, offrant une gestion granulaire des coûts.

Compatibilité et utilisation

Routerly est compatible OpenAI, ce qui signifie qu'elle peut s'intégrer dans des flux de travail existants sans modification de code. Les outils compatibles spécifiquement mentionnés incluent :

• Cursor
• LangChain
• Open WebUI

Elle fonctionne avec "tout autre outil" qui utilise le format d'API OpenAI.

État actuel

Le développeur reconnaît qu'il reste des imperfections et sollicite les retours de la communauté sur :

• Ce qui ne fonctionne pas
• Ce qui manque
• Si la logique de routage est pertinente en pratique
• Si cela résout un vrai problème que les gens rencontrent

L'outil est entièrement gratuit et open source, sans argumentaire commercial. Le développeur se concentre sur les retours pratiques de la communauté technique.

Ressources

• Dépôt GitHub : https://github.com/Inebrio/Routerly
• Site web : https://www.routerly.ai