Routerly: Selbst gehostetes LLM-Gateway mit Laufzeit-Routingrichtlinien und Budgetkontrolle
Routerly ist ein selbst gehostetes LLM-Gateway, das entwickelt wurde, um Lücken in bestehenden Lösungen zu schließen. Der Entwickler hat es erstellt, weil OpenRouter cloudbasiert ist und er etwas wollte, das auf eigener Infrastruktur läuft, während das Routing von LiteLLM trotz guter Budgetverwaltung zu manuell erschien.
Kernfunktionen
Anstatt ein bestimmtes Modell in Ihrer Anwendung fest zu kodieren, ermöglicht Routerly Ihnen, Routing-Richtlinien zu definieren, die die Modellauswahl zur Laufzeit bestimmen. Verfügbare Richtlinien umfassen:
- Günstigste
- Schnellste
- Leistungsfähigste
- Kombinationen dieser Richtlinien
Die Budgetkontrolle erfolgt auf Projektebene mit tatsächlicher Token-für-Token-Nachverfolgung, was eine detaillierte Kostenverwaltung ermöglicht.
Kompatibilität und Nutzung
Routerly ist OpenAI-kompatibel, was bedeutet, dass es in bestehende Arbeitsabläufe ohne Codeänderungen integriert werden kann. Speziell erwähnte kompatible Tools sind:
- Cursor
- LangChain
- Open WebUI
Es funktioniert mit „allen anderen“ Tools, die das OpenAI-API-Format verwenden.
Aktueller Status
Der Entwickler räumt ein, dass es noch Unausgereiftes gibt und sucht Feedback der Community zu:
- Was kaputt ist
- Was fehlt
- Ob die Routing-Logik in der Praxis sinnvoll ist
- Ob es ein echtes Problem löst, das Menschen haben
Das Tool ist völlig kostenlos und quelloffen, ohne kommerzielle Verkaufsabsicht. Der Entwickler konzentriert sich auf praktisches Feedback aus der technischen Community.
Ressourcen
- GitHub-Repository: https://github.com/Inebrio/Routerly
- Website: https://www.routerly.ai
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Das Log ist der Agent: Event-basierte Graphen für prüfbare, forking-fähige KI-Systeme
ActiveGraph kehrt typische Agenten-Frameworks um: Ein unveränderliches Ereignisprotokoll ist die Quelle der Wahrheit, und eine deterministische Graphprojektion reagiert auf Änderungen und erzeugt Ereignisse. Dies ermöglicht Wiedergabe, Abzweigungen und vollständige Rückverfolgbarkeit ohne aufgesetzten Speicher.
Seien Sie mein Butler: Multi-Agenten-Pipeline zur Überprüfung von KI-Code
Be My Butler ist eine Open-Source-Multi-Agent-Pipeline, in der verschiedene KI-Modelle den Code des jeweils anderen durch blinde Überprüfung bewerten. Das System behebt das Problem, dass KI-Agenten ihren eigenen Code fälschlicherweise als funktionsfähig melden.
Auto-Optimieren: Ein Claude-Code-Plugin für autonome Leistungsoptimierung
Ein Entwickler hat auto-optimize erstellt, ein Claude Code-Plugin, das autonom Profile → Plan → Benchmark-Schleifen ausführt, um die Codeleistung zu optimieren. In einem Test erzielte es in etwa 3 Stunden eine 27 % schnellere Hashtabelle über alle Benchmarkszenarien hinweg.
AgentLens: Beobachtungstool für Multi-Agenten-KI-Workflows
AgentLens bietet einheitliche Verfolgung über Ollama, vLLM, Anthropic und OpenAI mit Kostenverfolgung, einen MCP-Server zum Abfragen von Statistiken aus Claude Code und eine CLI für Inline-Prüfungen. Es ist selbst gehostet und läuft lokal über Docker.