Routerly: Gateway de LLM Auto-Hospedado com Políticas de Roteamento em Tempo Real e Controle de Orçamento
Routerly é um gateway LLM auto-hospedado criado para preencher lacunas nas soluções existentes. O desenvolvedor o criou porque o OpenRouter é baseado em nuvem, e eles queriam algo executável em sua própria infraestrutura, enquanto o roteamento do LiteLLM parecia muito manual, apesar de lidar bem com orçamentos.
Recursos Principais
Em vez de codificar um modelo específico em seu aplicativo, o Routerly permite definir políticas de roteamento que determinam a seleção do modelo em tempo de execução. As políticas disponíveis incluem:
- Mais barato
- Mais rápido
- Mais capaz
- Combinações dessas políticas
O controle de orçamento opera em nível de projeto com rastreamento real por token, proporcionando gerenciamento de custos granular.
Compatibilidade e Uso
Routerly é compatível com OpenAI, o que significa que pode ser integrado em fluxos de trabalho existentes sem alterações de código. Ferramentas compatíveis especificamente mencionadas incluem:
- Cursor
- LangChain
- Open WebUI
Funciona com "qualquer outra coisa" que use o formato de API da OpenAI.
Status Atual
O desenvolvedor reconhece que há arestas a serem aparadas e está buscando feedback da comunidade sobre:
- O que está quebrado
- O que está faltando
- Se a lógica de roteamento faz sentido na prática
- Se resolve um problema real que as pessoas têm
A ferramenta é completamente gratuita e de código aberto, sem nenhum apelo comercial. O desenvolvedor está focado em feedback prático da comunidade técnica.
Recursos
- Repositório GitHub: https://github.com/Inebrio/Routerly
- Site: https://www.routerly.ai
📖 Read the full source: r/LocalLLaMA
👀 See Also
SideX: Uma Portagem Baseada em Tauri do Visual Studio Code
SideX é uma porta do Visual Studio Code que substitui o Electron pelo Tauri, usando um backend em Rust e o webview nativo do sistema operacional. O projeto afirma ter a mesma arquitetura com 96% de tamanho reduzido, com funcionalidades básicas de edição e terminal atualmente funcionando.
PgAdmin 4 9.13 Adiciona Painel de Assistente de IA à Ferramenta de Consulta
A versão 9.13 do PgAdmin 4 introduz um painel de Assistente de IA na Ferramenta de Consulta que pode gerar SQL a partir de linguagem natural quando a IA está configurada. A atualização também inclui um layout de Espaço de Trabalho para edição de consultas sem distrações e conexões de servidor ad hoc.
Mantenha Minha Garra: Serviço de Backup para Espaços de Trabalho OpenClaw
Keep My Claw é um serviço de backup que criptografa os dados do workspace do OpenClaw localmente antes de enviar para o Cloudflare R2. Ele gerencia arquivos de memória, tarefas cron, habilidades, credenciais e snapshots de configuração com backups agendados e restaurações com um único comando.
Fale com o Claw: Interface de Voz de Código Aberto para iOS para Bots do Telegram OpenClaw
Um aplicativo iOS de código aberto que permite interação por voz com bots do Telegram alimentados pelo OpenClaw. O aplicativo envia áudio para um servidor Mac local para processamento, com respostas retornadas tanto em texto quanto em áudio.