Routerly: Gateway de LLM Auto-Hospedado com Políticas de Roteamento em Tempo Real e Controle de Orçamento
Routerly é um gateway LLM auto-hospedado criado para preencher lacunas nas soluções existentes. O desenvolvedor o criou porque o OpenRouter é baseado em nuvem, e eles queriam algo executável em sua própria infraestrutura, enquanto o roteamento do LiteLLM parecia muito manual, apesar de lidar bem com orçamentos.
Recursos Principais
Em vez de codificar um modelo específico em seu aplicativo, o Routerly permite definir políticas de roteamento que determinam a seleção do modelo em tempo de execução. As políticas disponíveis incluem:
- Mais barato
- Mais rápido
- Mais capaz
- Combinações dessas políticas
O controle de orçamento opera em nível de projeto com rastreamento real por token, proporcionando gerenciamento de custos granular.
Compatibilidade e Uso
Routerly é compatível com OpenAI, o que significa que pode ser integrado em fluxos de trabalho existentes sem alterações de código. Ferramentas compatíveis especificamente mencionadas incluem:
- Cursor
- LangChain
- Open WebUI
Funciona com "qualquer outra coisa" que use o formato de API da OpenAI.
Status Atual
O desenvolvedor reconhece que há arestas a serem aparadas e está buscando feedback da comunidade sobre:
- O que está quebrado
- O que está faltando
- Se a lógica de roteamento faz sentido na prática
- Se resolve um problema real que as pessoas têm
A ferramenta é completamente gratuita e de código aberto, sem nenhum apelo comercial. O desenvolvedor está focado em feedback prático da comunidade técnica.
Recursos
- Repositório GitHub: https://github.com/Inebrio/Routerly
- Site: https://www.routerly.ai
📖 Read the full source: r/LocalLLaMA
👀 See Also
Habilidade de verificação de segurança para agentes de IA de codificação verifica automaticamente as implantações
Um desenvolvedor criou um arquivo de habilidade que permite que agentes de IA de codificação verifiquem automaticamente suas próprias implantações em busca de problemas de segurança, como segredos expostos, portas abertas, cabeçalhos de segurança ausentes e código-fonte vazado. A verificação é executada após cada implantação e leva cerca de 30 segundos.
Sistema ACO: Pipeline Multiagente de Código Aberto da Issue do GitHub ao PR Mesclado
O Sistema ACO é um framework multiagente open-source que executa autonomamente um pipeline completo de software — da Issue do GitHub ao PR mesclado — usando seis agentes de IA especializados. Possui um portão Arquiteto determinístico que bloqueia alucinações.
Mesh LLM: Computação Distribuída de IA no Iroh – Execute LLMs em Suas Próprias GPUs
Mesh LLM agrupa GPUs que você já possui em várias máquinas e as expõe como uma única API compatível com OpenAI. Distribui modelos localmente, via roteamento entre pares ou como um pipeline em vários nós usando o transporte QUIC do iroh.
sandboxd: ferramenta open-source para executar múltiplos agentes Claude Code em contêineres isolados
sandboxd é uma ferramenta open-source (MIT) que executa cada projeto do Claude Code em seu próprio contêiner Docker, com espaço de trabalho isolado, sessão do Claude Code e URL de preview. Suporta agentes paralelos, suspensão automática e mantém chaves de API fora dos contêineres.