Bifrost LLM-Gateway: 11 Mikrosekunden Overhead, Single Binary in Go
Was Bifrost ist
Bifrost ist ein sofort einsetzbarer LLM-Proxy, geschrieben in Go, speziell für selbst gehostete Umgebungen. Er leitet Anfragen an OpenAI, Anthropic, Azure, Bedrock und andere Anbieter weiter und übernimmt dabei Failover, Caching und Budgetkontrollen.
Leistungsbenchmarks
Der Entwickler hat einen anhaltenden Durchsatz von 5.000 Anfragen pro Sekunde gemessen:
- Bifrost (Go): ~11 Mikrosekunden Overhead pro Anfrage
- LiteLLM (Python): ~8 Millisekunden Overhead pro Anfrage
Das entspricht einem Unterschied im Overhead von etwa dem 700-fachen.
Speicherverbrauch im Vergleich
Bei gleichem Durchsatz:
- Bifrost: ~50 MB RAM Grundverbrauch, bleibt unter Last konstant
- LiteLLM: ~300–400 MB Grundverbrauch, steigt bei hohem Verkehr auf 800 MB+
Der Entwickler merkt an, dass für den Betrieb von LiteLLM bei 2.000+ RPS horizontale Skalierung und leistungsstarke Instanzen erforderlich sind, während Bifrost 5.000 RPS auf einem 20-Dollar-VPS pro Monat bewältigt.
Stabilität unter Last
Die Leistung von Bifrost bleibt unter Last konstant, mit derselben Latenz bei 100 RPS oder 5.000 RPS. Im Gegensatz dazu wird LiteLLM bei Verkehrsspitzen unberechenbar – die Latenzschwankungen nehmen zu, der Speicherverbrauch steigt sprunghaft an und Garbage-Collection-Pausen treten zum ungünstigsten Zeitpunkt auf.
Einzigartige Funktionen
Bifrost enthält ein MCP-Gateway, das 10+ MCP-Toolserver verbindet, Discovery, Namensräume, Health-Checks und Tool-Filterung pro Anfrage übernimmt. LiteLLM unterstützt MCP nicht.
Bereitstellung und Migration
Die Bereitstellung erfolgt über eine einzelne Binärdatei – ohne Python-Virtualenvs, ohne Abhängigkeitsprobleme und ohne Docker. Man kopiert sie auf den Server und startet sie.
Für die Migration ist die API OpenAI-kompatibel. Man ändert die Basis-URL und behält den bestehenden Code bei, wobei die meisten Migrationen weniger als eine Stunde dauern.
Verfügbarkeit als Open Source
Das Projekt ist Open Source und verfügbar unter github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Siehe auch
CK Search: Lokales semantisches Suchtool mit MCP-Server-Integration
CK Search ist ein lokales semantisches Suchwerkzeug mit einem integrierten MCP-Server, das beliebige Textverzeichnisse ohne Cloud-Abhängigkeiten indiziert. Das Tool kann von KI-Agenten über MCP genutzt werden, und die Quelle bietet eine praktische Schritt-für-Schritt-Anleitung, die Einrichtung, Stärken und Grenzen im Vergleich zu grep abdeckt.
OpenClaw PARA-Fähigkeit organisiert KI-Assistentendateien automatisch
Ein Entwickler hat eine OpenClaw-Fähigkeit erstellt, die die PARA-Methode (Projekte, Bereiche, Ressourcen, Archive) für die Dateiorganisation durchsetzt und Dateien automatisch in vier strukturierte Ordner sortiert, anstatt alles im Stammverzeichnis abzulegen.
HolyClaude: Docker-Container für Claude-Code mit Browser-UI und Headless Chromium
HolyClaude ist ein Open-Source-Docker-Container, der die Claude Code CLI mit einer Browser-UI, headlessem Chromium und zusätzlichen KI-Codierungstools bündelt. Die Einrichtung erfordert nur docker compose up und bietet Zugriff unter localhost:3001.
OpenAlly: Lokaler KI-Assistent für Android mit Telefonsteuerung
OpenAlly ist eine Android-App, die einen KI-Assistenten lokal auf Ihrem Smartphone über einen eingebetteten Node.js-Prozess ausführt, mit 51 integrierten Funktionen und Telefonsteuerungsfähigkeiten über den Aster-Begleiter. Sie verbindet sich mit über 19 Messaging-Plattformen und unterstützt 18 Modellanbieter mit Ihren eigenen API-Schlüsseln.