Bifrost LLM-Gateway: 11 Mikrosekunden Overhead, Single Binary in Go
Was Bifrost ist
Bifrost ist ein sofort einsetzbarer LLM-Proxy, geschrieben in Go, speziell für selbst gehostete Umgebungen. Er leitet Anfragen an OpenAI, Anthropic, Azure, Bedrock und andere Anbieter weiter und übernimmt dabei Failover, Caching und Budgetkontrollen.
Leistungsbenchmarks
Der Entwickler hat einen anhaltenden Durchsatz von 5.000 Anfragen pro Sekunde gemessen:
- Bifrost (Go): ~11 Mikrosekunden Overhead pro Anfrage
- LiteLLM (Python): ~8 Millisekunden Overhead pro Anfrage
Das entspricht einem Unterschied im Overhead von etwa dem 700-fachen.
Speicherverbrauch im Vergleich
Bei gleichem Durchsatz:
- Bifrost: ~50 MB RAM Grundverbrauch, bleibt unter Last konstant
- LiteLLM: ~300–400 MB Grundverbrauch, steigt bei hohem Verkehr auf 800 MB+
Der Entwickler merkt an, dass für den Betrieb von LiteLLM bei 2.000+ RPS horizontale Skalierung und leistungsstarke Instanzen erforderlich sind, während Bifrost 5.000 RPS auf einem 20-Dollar-VPS pro Monat bewältigt.
Stabilität unter Last
Die Leistung von Bifrost bleibt unter Last konstant, mit derselben Latenz bei 100 RPS oder 5.000 RPS. Im Gegensatz dazu wird LiteLLM bei Verkehrsspitzen unberechenbar – die Latenzschwankungen nehmen zu, der Speicherverbrauch steigt sprunghaft an und Garbage-Collection-Pausen treten zum ungünstigsten Zeitpunkt auf.
Einzigartige Funktionen
Bifrost enthält ein MCP-Gateway, das 10+ MCP-Toolserver verbindet, Discovery, Namensräume, Health-Checks und Tool-Filterung pro Anfrage übernimmt. LiteLLM unterstützt MCP nicht.
Bereitstellung und Migration
Die Bereitstellung erfolgt über eine einzelne Binärdatei – ohne Python-Virtualenvs, ohne Abhängigkeitsprobleme und ohne Docker. Man kopiert sie auf den Server und startet sie.
Für die Migration ist die API OpenAI-kompatibel. Man ändert die Basis-URL und behält den bestehenden Code bei, wobei die meisten Migrationen weniger als eine Stunde dauern.
Verfügbarkeit als Open Source
Das Projekt ist Open Source und verfügbar unter github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Siehe auch
Im Inneren von vLLM: Anatomie eines Hochdurchsatz-LLM-Inferenzsystems
Aleksa Gordić zerlegt die Kernkomponenten von vLLM: Engine, KV-Cache-Manager, Paged Attention und Continuous Batching. Behandelt fortgeschrittene Funktionen wie Chunked Prefill und disaggregiertes P/D.
SpecLock: Open-Source-Constraint-Engine für KI-Coding-Agenten
SpecLock ist ein MCP-Server, der aktiv Einschränkungen für KI-Codierungsagenten wie Claude Code durchsetzt. Er blockiert Verstöße mit semantischen Konfliktwarnungen durch Synonym-Erweiterung, Negationserkennung und Kennzeichnung zerstörerischer Aktionen.
Lore: Ein Tool, das strukturierten Kontext aus KI-Codierungsgesprächen extrahiert
Lore ist ein browserbasiertes Tool, das mit Claude Code entwickelt wurde und strukturierten Kontext aus KI-Gesprächen extrahiert, um Entscheidungen, TODOs, Blockaden und Checklisten für die Wiederaufnahme festzuhalten. Es handelt sich um eine React + TypeScript PWA mit einer Chrome-Erweiterung zur direkten Erfassung von Gesprächen und Kontextinjektion.
PocketTeam: Eine Claude-Code-Pipeline mit Haken-basierter Sicherheit und lernenden Agenten
PocketTeam ist eine Claude Code-Pipeline, die 9 Sicherheitsebenen auf Tool-Call-Ebene implementiert, um gefährliche Operationen wie Schreibvorgänge in .env oder rm -rf-Befehle zu blockieren. Das System umfasst einen Observer-Agenten, der abgeschlossene Aufgaben analysiert und strukturierte Erkenntnisse schreibt, um die zukünftige Leistung der Agenten zu verbessern.