Routerly: Самостоятельно размещаемый шлюз для LLM с политиками маршрутизации в реальном времени и контролем бюджета

Routerly — это саморазмещаемый шлюз для LLM, созданный для устранения пробелов в существующих решениях. Разработчик создал его, потому что OpenRouter является облачным, и ему хотелось чего-то, что можно запускать на собственной инфраструктуре, в то время как маршрутизация в LiteLLM казалась слишком ручной, несмотря на хорошую работу с бюджетированием.
Основные возможности
Вместо того чтобы жёстко прописывать конкретную модель в вашем приложении, Routerly позволяет определять политики маршрутизации, которые определяют выбор модели во время выполнения. Доступные политики включают:
- Самая дешёвая
- Самая быстрая
- Самая способная
- Комбинации этих политик
Контроль бюджета работает на уровне проекта с фактическим отслеживанием затрат на токен, обеспечивая детальное управление расходами.
Совместимость и использование
Routerly совместим с OpenAI, что означает, что его можно легко внедрить в существующие рабочие процессы без изменения кода. В частности, упомянутые совместимые инструменты включают:
- Cursor
- LangChain
- Open WebUI
Он работает с "любыми другими" инструментами, которые используют формат API OpenAI.
Текущий статус
Разработчик признаёт, что есть некоторые шероховатости, и ищет обратную связь от сообщества по следующим вопросам:
- Что не работает
- Чего не хватает
- Имеет ли логика маршрутизации смысл на практике
- Решает ли это реальную проблему, с которой сталкиваются люди
Инструмент полностью бесплатный и с открытым исходным кодом, без коммерческой рекламы. Разработчик сосредоточен на практической обратной связи от технического сообщества.
Ресурсы
- Репозиторий на GitHub: https://github.com/Inebrio/Routerly
- Веб-сайт: https://www.routerly.ai
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также

Оптимизация ANE посредством экспериментов с ИИ, управляемым через телефон, демонстрирует преимущества слияния ядер.
Разработчик провел 55 экспериментов по оптимизации Apple Neural Engine, управляя процессом со своего телефона с помощью Claude для мозгового штурма. Ключевые улучшения включали объединение 3 ядер ANE в 1 мега-ядро, что снизило потери при валидации с 3.75 до 2.49 и время шага с 176 мс до 96 мс.

Расширение для Chrome добавляет функцию Live Preview на веб-сайт Claude Code.
Расширение для Chrome под названием Claude Code Preview добавляет функцию живого предпросмотра в Claude Code Web, аналогично Lovable и другим сайтам 'vibecoding', позволяя просматривать развертывания бок о бок.

Навык OpenClaw сокращает количество токенов дерева доступности с 600 тысяч до 1,3 тысячи для сайтов с большим количеством рекламы.
Разработчик создал навык OpenClaw, который использует ранжирование элементов на основе машинного обучения для обрезки деревьев доступности, сокращая slickdeals.com с ~598K токенов до ~1.3K токенов, сохраняя только ~50 наиболее значимых интерактивных элементов.

Детектор утечек Swarm: Бесплатный инструмент для поиска открытых API-ключей в конфигурациях OpenClaw
Разработчик выпустил swarm-leak-detector — инструмент с лицензией MIT без зависимостей, который сканирует более 21 шаблона учетных данных (OpenAI, Anthropic, OpenRouter, Stripe и др.) в текстовых JSON-файлах конфигурации. Запустите его с помощью npx swarm-leak-detector scan ~/.clawdbot/, чтобы проверить наличие утечек примерно за 30 секунд.