Bifrost LLM Gateway: 11 микросекунд накладных расходов, единый бинарный файл на Go
Что такое Bifrost
Bifrost — это готовый прокси для LLM, написанный на Go, специально для саморазмещаемых сред. Он маршрутизирует запросы к OpenAI, Anthropic, Azure, Bedrock и другим провайдерам, одновременно обрабатывая отказоустойчивость, кэширование и контроль бюджета.
Тесты производительности
Разработчик провёл тестирование с устойчивой нагрузкой в 5 000 запросов в секунду:
- Bifrost (Go): ~11 микросекунд накладных расходов на запрос
- LiteLLM (Python): ~8 миллисекунд накладных расходов на запрос
Это примерно в 700 раз меньше накладных расходов.
Сравнение использования памяти
При той же пропускной способности:
- Bifrost: ~50 МБ ОЗУ в базовом режиме, остаётся стабильным под нагрузкой
- LiteLLM: ~300-400 МБ ОЗУ в базовом режиме, скачки до 800+ МБ при высокой нагрузке
Разработчик отмечает, что для работы LiteLLM при 2k+ RPS требуется горизонтальное масштабирование и серьёзные размеры инстансов, в то время как Bifrost обрабатывает 5k RPS на VPS за $20 в месяц.
Стабильность под нагрузкой
Производительность Bifrost остаётся постоянной под нагрузкой с одинаковой задержкой как при 100 RPS, так и при 5 000 RPS. В отличие от этого, LiteLLM становится непредсказуемым при скачках трафика — увеличивается вариативность задержек, возникают скачки памяти, а паузы сборки мусора происходят в самые неподходящие моменты.
Уникальные возможности
Bifrost включает шлюз MCP, который подключает 10+ серверов инструментов MCP, обрабатывает обнаружение, пространства имён, проверки работоспособности и фильтрацию инструментов для каждого запроса. LiteLLM не поддерживает MCP.
Развёртывание и миграция
Развёртывание представляет собой один бинарный файл без виртуальных окружений Python, без проблем с зависимостями и без необходимости в Docker. Вы просто копируете его на сервер и запускаете.
Для миграции API совместим с OpenAI. Вы меняете базовый URL и сохраняете существующий код, при этом большинство миграций занимает менее часа.
Доступность в открытом исходном коде
Проект имеет открытый исходный код и доступен на github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Смотрите также
Werld: Открытая симуляция искусственной жизни с эволюционирующими нейронными сетями
Werld — это симуляция искусственной жизни в реальном времени, где агенты с нейронными сетями NEAT эволюционируют собственную нейронную архитектуру, сенсорную обработку и поведение без жёстко заданных правил или функций вознаграждения. Симуляция начинается с 30 агентов на графе малого мира Уоттса-Строгаца с 64 сенсорными каналами, 7 непрерывными моторными функциями и 29 наследуемыми признаками генома.
Агентские фреймворки тратят более 350 000 токенов за сессию на повторную отправку статических файлов.
Бенчмарк на локальной установке Qwen 3.5 122B показал, что фреймворки агентов тратят более 350 000 токенов за сессию из-за повторной отправки статических файлов. Подход на этапе компиляции сократил контекст запроса с 1 373 токенов до 73, что обеспечило 95%-ное сокращение.
2-промптовая система для переноса контекста между чатами Claude без потери токенов
Разработчик делится двумя подсказками для сжатия всего разговора с Клодом в структурированный блок контекста и загрузки его в новый чат, сохраняя решения, проделанную работу и следующие шаги.
Microsoft VibeVoice: ASR модели на 60 минут и TTS модели на 90 минут с открытым исходным кодом
VibeVoice — это семейство голосовых AI-моделей с открытым исходным кодом от Microsoft, включающее ASR (однопроходная обработка до 60 минут, диаризация дикторов, более 50 языков) и TTS (мультиспикер до 90 минут, потоковый режим в реальном времени). Использует непрерывные токенизаторы речи с частотой 7,5 Гц и диффузию следующего токена.