Routerly: Selbst gehostetes LLM-Gateway mit Laufzeit-Routingrichtlinien und Budgetkontrolle

Routerly ist ein selbst gehostetes LLM-Gateway, das entwickelt wurde, um Lücken in bestehenden Lösungen zu schließen. Der Entwickler hat es erstellt, weil OpenRouter cloudbasiert ist und er etwas wollte, das auf eigener Infrastruktur läuft, während das Routing von LiteLLM trotz guter Budgetverwaltung zu manuell erschien.

Kernfunktionen

Anstatt ein bestimmtes Modell in Ihrer Anwendung fest zu kodieren, ermöglicht Routerly Ihnen, Routing-Richtlinien zu definieren, die die Modellauswahl zur Laufzeit bestimmen. Verfügbare Richtlinien umfassen:

• Günstigste
• Schnellste
• Leistungsfähigste
• Kombinationen dieser Richtlinien

Die Budgetkontrolle erfolgt auf Projektebene mit tatsächlicher Token-für-Token-Nachverfolgung, was eine detaillierte Kostenverwaltung ermöglicht.

Kompatibilität und Nutzung

Routerly ist OpenAI-kompatibel, was bedeutet, dass es in bestehende Arbeitsabläufe ohne Codeänderungen integriert werden kann. Speziell erwähnte kompatible Tools sind:

• Cursor
• LangChain
• Open WebUI

Es funktioniert mit „allen anderen“ Tools, die das OpenAI-API-Format verwenden.

Aktueller Status

Der Entwickler räumt ein, dass es noch Unausgereiftes gibt und sucht Feedback der Community zu:

• Was kaputt ist
• Was fehlt
• Ob die Routing-Logik in der Praxis sinnvoll ist
• Ob es ein echtes Problem löst, das Menschen haben

Das Tool ist völlig kostenlos und quelloffen, ohne kommerzielle Verkaufsabsicht. Der Entwickler konzentriert sich auf praktisches Feedback aus der technischen Community.

Ressourcen

• GitHub-Repository: https://github.com/Inebrio/Routerly
• Website: https://www.routerly.ai