Bifrost LLM Gateway: 11 Microsegundos de Sobrecarga, Binario Único en Go
Qué es Bifrost
Bifrost es un proxy LLM listo para usar escrito en Go específicamente para entornos autoalojados. Enruta solicitudes a OpenAI, Anthropic, Azure, Bedrock y otros proveedores mientras maneja conmutación por error, almacenamiento en caché y controles de presupuesto.
Puntos de Referencia de Rendimiento
El desarrollador realizó pruebas de referencia a 5,000 solicitudes por segundo sostenidas:
- Bifrost (Go): ~11 microsegundos de sobrecarga por solicitud
- LiteLLM (Python): ~8 milisegundos de sobrecarga por solicitud
Esa es aproximadamente una diferencia de 700x en sobrecarga.
Comparación de Uso de Memoria
Con el mismo rendimiento:
- Bifrost: ~50MB de RAM de referencia, se mantiene estable bajo carga
- LiteLLM: ~300-400MB de referencia, alcanza picos de 800MB+ bajo tráfico intenso
El desarrollador señala que ejecutar LiteLLM a 2k+ RPS requiere escalado horizontal y tamaños de instancia serios, mientras que Bifrost maneja 5k RPS en un VPS de $20/mes.
Estabilidad Bajo Carga
El rendimiento de Bifrost se mantiene constante bajo carga con la misma latencia a 100 RPS o 5,000 RPS. En contraste, LiteLLM se vuelve impredecible cuando el tráfico alcanza picos: la variación de latencia aumenta, la memoria alcanza picos y las pausas de GC ocurren en los peores momentos.
Características Únicas
Bifrost incluye una puerta de enlace MCP que conecta más de 10 servidores de herramientas MCP, maneja descubrimiento, espacios de nombres, verificaciones de salud y filtrado de herramientas por solicitud. LiteLLM no maneja MCP.
Implementación y Migración
La implementación es un solo binario sin entornos virtuales de Python, sin problemas de dependencias y sin necesidad de Docker. Lo copias al servidor y lo ejecutas.
Para la migración, la API es compatible con OpenAI. Cambias la URL base y mantienes el código existente, con la mayoría de las migraciones tomando menos de una hora.
Disponibilidad de Código Abierto
El proyecto es de código abierto y está disponible en github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Ver también
Servidor MCP Permite a Claude Crear y Ejecutar Herramientas Personalizadas en Tiempo de Ejecución
Un desarrollador construyó un servidor MCP donde Claude puede crear, actualizar y ejecutar nuevas herramientas sin necesidad de redeploy. El sistema utiliza cinco herramientas principales y ejecuta código personalizado JavaScript/TypeScript en un sandbox de Deno con un arranque en frío de ~50ms.
LAP: Más de 1.500 especificaciones de API compiladas para consumo por LLM con el fin de reducir las alucinaciones de Claude
LAP es una herramienta que compila más de 1.500 especificaciones reales de API en un formato optimizado para LLM, proporcionando endpoints verificados y parámetros para evitar que agentes de programación de IA como Claude alucinen llamadas incorrectas a API.
Vibeyard añade intercambio de sesiones P2P para Claude Code.
Vibeyard, un IDE de código abierto para Claude Code, ahora admite el intercambio de sesiones entre pares. Los usuarios pueden compartir sesiones de terminal en vivo con compañeros de equipo a través de conexiones WebRTC cifradas, con modos de acceso de solo lectura o lectura-escritura.
Habilidad de prueba de SwiftUI de código abierto para Claude Code utiliza Computer Use para probar aplicaciones visualmente.
Una habilidad de código abierto llamada /ios-test prueba visualmente aplicaciones SwiftUI utilizando la capacidad de Uso de Computadora. El agente encuentra archivos .xcodeproj, construye la aplicación en un Simulador, luego navega por cada pantalla, tocando botones y siguiendo enlaces como un usuario real.