Bifrost LLM-Gateway: 11 Mikrosekunden Overhead, Single Binary in Go
Was Bifrost ist
Bifrost ist ein sofort einsetzbarer LLM-Proxy, geschrieben in Go, speziell für selbst gehostete Umgebungen. Er leitet Anfragen an OpenAI, Anthropic, Azure, Bedrock und andere Anbieter weiter und übernimmt dabei Failover, Caching und Budgetkontrollen.
Leistungsbenchmarks
Der Entwickler hat einen anhaltenden Durchsatz von 5.000 Anfragen pro Sekunde gemessen:
- Bifrost (Go): ~11 Mikrosekunden Overhead pro Anfrage
- LiteLLM (Python): ~8 Millisekunden Overhead pro Anfrage
Das entspricht einem Unterschied im Overhead von etwa dem 700-fachen.
Speicherverbrauch im Vergleich
Bei gleichem Durchsatz:
- Bifrost: ~50 MB RAM Grundverbrauch, bleibt unter Last konstant
- LiteLLM: ~300–400 MB Grundverbrauch, steigt bei hohem Verkehr auf 800 MB+
Der Entwickler merkt an, dass für den Betrieb von LiteLLM bei 2.000+ RPS horizontale Skalierung und leistungsstarke Instanzen erforderlich sind, während Bifrost 5.000 RPS auf einem 20-Dollar-VPS pro Monat bewältigt.
Stabilität unter Last
Die Leistung von Bifrost bleibt unter Last konstant, mit derselben Latenz bei 100 RPS oder 5.000 RPS. Im Gegensatz dazu wird LiteLLM bei Verkehrsspitzen unberechenbar – die Latenzschwankungen nehmen zu, der Speicherverbrauch steigt sprunghaft an und Garbage-Collection-Pausen treten zum ungünstigsten Zeitpunkt auf.
Einzigartige Funktionen
Bifrost enthält ein MCP-Gateway, das 10+ MCP-Toolserver verbindet, Discovery, Namensräume, Health-Checks und Tool-Filterung pro Anfrage übernimmt. LiteLLM unterstützt MCP nicht.
Bereitstellung und Migration
Die Bereitstellung erfolgt über eine einzelne Binärdatei – ohne Python-Virtualenvs, ohne Abhängigkeitsprobleme und ohne Docker. Man kopiert sie auf den Server und startet sie.
Für die Migration ist die API OpenAI-kompatibel. Man ändert die Basis-URL und behält den bestehenden Code bei, wobei die meisten Migrationen weniger als eine Stunde dauern.
Verfügbarkeit als Open Source
Das Projekt ist Open Source und verfügbar unter github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Siehe auch
Lobster Cage: Dockerisierte Sicherheitsumgebung für Self-Hosting von OpenClaw auf Raspberry Pi
Ein Entwickler hat Lobster Cage erstellt, eine Docker Compose-Umgebung mit eingeschränktem ausgehendem Zugriff und Proxy-basiertem Routing, um OpenClaw sicher auf einem Raspberry Pi für Experimente auszuführen.
Open-Source-Vertrauensbewertungs-Hook für Claude Code überwacht Sitzungen, blockiert geschützte Pfade
Ein Entwickler hat einen Python-Hook erstellt, der jede Claude-Code-Sitzung in den Dimensionen Zuverlässigkeit, Umfang und Kosten bewertet, den Zugriff auf geschützte Pfade wie .env-Dateien blockiert und Ereignisse per Hash-Kette zur Manipulationserkennung verknüpft. Das Einzeldatei-Tool ist auf GitHub verfügbar.
Open-Source-Methodik für eine partnerschaftliche KI-Entwicklung mit Claude
Ein Entwickler hat ein 25.000 Wörter umfassendes Papier veröffentlicht und Open-Source-Vorlagen für den Aufbau eines persistenten Partnerschaftssystems mit Claude bereitgestellt, das gemeinsamen Speicher über Sitzungen hinweg, kognitive Überwachung und Multi-KI-Beratung nutzt.
Papierlaternen-MCP-Server verbindet Claude-Code mit Forschungsarbeiten
Paper Lantern ist ein MCP-Server, der mit Claude Code erstellt wurde und Programmieragenten mit über 2 Millionen CS- und 43 Millionen biomedizinischen Forschungsarbeiten verbindet, sodass sie benchmarkte Methoden finden können, anstatt auf Trainingsdaten zurückzugreifen.