Bifrost LLM Gateway: 11 микросекунд накладных расходов, единый бинарный файл на Go

Что такое Bifrost

Bifrost — это готовый прокси для LLM, написанный на Go, специально для саморазмещаемых сред. Он маршрутизирует запросы к OpenAI, Anthropic, Azure, Bedrock и другим провайдерам, одновременно обрабатывая отказоустойчивость, кэширование и контроль бюджета.

Тесты производительности

Разработчик провёл тестирование с устойчивой нагрузкой в 5 000 запросов в секунду:

• Bifrost (Go): ~11 микросекунд накладных расходов на запрос
• LiteLLM (Python): ~8 миллисекунд накладных расходов на запрос

Это примерно в 700 раз меньше накладных расходов.

Сравнение использования памяти

При той же пропускной способности:

• Bifrost: ~50 МБ ОЗУ в базовом режиме, остаётся стабильным под нагрузкой
• LiteLLM: ~300-400 МБ ОЗУ в базовом режиме, скачки до 800+ МБ при высокой нагрузке

Разработчик отмечает, что для работы LiteLLM при 2k+ RPS требуется горизонтальное масштабирование и серьёзные размеры инстансов, в то время как Bifrost обрабатывает 5k RPS на VPS за $20 в месяц.

Стабильность под нагрузкой

Производительность Bifrost остаётся постоянной под нагрузкой с одинаковой задержкой как при 100 RPS, так и при 5 000 RPS. В отличие от этого, LiteLLM становится непредсказуемым при скачках трафика — увеличивается вариативность задержек, возникают скачки памяти, а паузы сборки мусора происходят в самые неподходящие моменты.

Уникальные возможности

Bifrost включает шлюз MCP, который подключает 10+ серверов инструментов MCP, обрабатывает обнаружение, пространства имён, проверки работоспособности и фильтрацию инструментов для каждого запроса. LiteLLM не поддерживает MCP.

Развёртывание и миграция

Развёртывание представляет собой один бинарный файл без виртуальных окружений Python, без проблем с зависимостями и без необходимости в Docker. Вы просто копируете его на сервер и запускаете.

Для миграции API совместим с OpenAI. Вы меняете базовый URL и сохраняете существующий код, при этом большинство миграций занимает менее часа.

Доступность в открытом исходном коде

Проект имеет открытый исходный код и доступен на github.com/maximhq/bifrost.