Bifrost LLM-Gateway: 11 Mikrosekunden Overhead, Single Binary in Go
Was Bifrost ist
Bifrost ist ein sofort einsetzbarer LLM-Proxy, geschrieben in Go, speziell für selbst gehostete Umgebungen. Er leitet Anfragen an OpenAI, Anthropic, Azure, Bedrock und andere Anbieter weiter und übernimmt dabei Failover, Caching und Budgetkontrollen.
Leistungsbenchmarks
Der Entwickler hat einen anhaltenden Durchsatz von 5.000 Anfragen pro Sekunde gemessen:
- Bifrost (Go): ~11 Mikrosekunden Overhead pro Anfrage
- LiteLLM (Python): ~8 Millisekunden Overhead pro Anfrage
Das entspricht einem Unterschied im Overhead von etwa dem 700-fachen.
Speicherverbrauch im Vergleich
Bei gleichem Durchsatz:
- Bifrost: ~50 MB RAM Grundverbrauch, bleibt unter Last konstant
- LiteLLM: ~300–400 MB Grundverbrauch, steigt bei hohem Verkehr auf 800 MB+
Der Entwickler merkt an, dass für den Betrieb von LiteLLM bei 2.000+ RPS horizontale Skalierung und leistungsstarke Instanzen erforderlich sind, während Bifrost 5.000 RPS auf einem 20-Dollar-VPS pro Monat bewältigt.
Stabilität unter Last
Die Leistung von Bifrost bleibt unter Last konstant, mit derselben Latenz bei 100 RPS oder 5.000 RPS. Im Gegensatz dazu wird LiteLLM bei Verkehrsspitzen unberechenbar – die Latenzschwankungen nehmen zu, der Speicherverbrauch steigt sprunghaft an und Garbage-Collection-Pausen treten zum ungünstigsten Zeitpunkt auf.
Einzigartige Funktionen
Bifrost enthält ein MCP-Gateway, das 10+ MCP-Toolserver verbindet, Discovery, Namensräume, Health-Checks und Tool-Filterung pro Anfrage übernimmt. LiteLLM unterstützt MCP nicht.
Bereitstellung und Migration
Die Bereitstellung erfolgt über eine einzelne Binärdatei – ohne Python-Virtualenvs, ohne Abhängigkeitsprobleme und ohne Docker. Man kopiert sie auf den Server und startet sie.
Für die Migration ist die API OpenAI-kompatibel. Man ändert die Basis-URL und behält den bestehenden Code bei, wobei die meisten Migrationen weniger als eine Stunde dauern.
Verfügbarkeit als Open Source
Das Projekt ist Open Source und verfügbar unter github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Siehe auch
Exportieren von KI-Agenten-Erinnerungen mithilfe von Claudes Import-Funktion
Ein Reddit-Nutzer teilt einen Prompt zum Extrahieren gespeicherter Erinnerungen von KI-Agenten wie ChatGPT und Claude, um sie anschließend in OpenClaw zu importieren. Der Prompt fordert den gesamten gespeicherten Kontext an, einschließlich Anweisungen, persönlicher Details, Projekte, Tools und Präferenzen.
Sx: Ein Open-Source-Paketmanager für KI-Fähigkeiten, MCPs und Befehle
Sx ist ein privater, npm-ähnlicher Paketmanager für KI-Assets – Skills, MCP-Konfigurationen, Befehle, Hooks und Agenten – der es Teams ermöglicht, KI-Konfigurationen über beliebige KI-Clients (Claude Code, Cursor, Copilot, Gemini) hinweg zu teilen, versionieren und beschränken.
bunx ccusage zeigt 18.450 Dollar an verbrauchten Credits – Flatpläne absorbieren die Kosten
Ein Nutzer auf r/ClaudeAI hat <code>bunx ccusage</code> ausgeführt und dabei festgestellt, dass er im Mai Credits im Wert von 18.450$ verbraucht hat – bei 248M Input-Tokens, 42M Output-Tokens und 21,7B inklusive Cache-Reads – während er nur 400€/Monat Pauschalpreis für Claude Code und Codex bezahlt.
Corey Haines' Marketing-Fähigkeiten für KI-Agenten
Ein Set von 25 Marketing-Fähigkeiten für KI-Agenten wurde zu OpenClaw hinzugefügt, das Conversion-Optimierung, Copywriting, Analysen und Growth Engineering abdeckt. Die Conversion-Optimierungs-Fähigkeit wird als besonders effektiv in Multi-Agenten-Setups hervorgehoben.