VoidLLM: Proxy de Conhecimento Zero para Ollama e vLLM com Controle de Acesso por Equipe
VoidLLM é um servidor proxy que fica entre suas aplicações e servidores locais de LLM como Ollama e vLLM. Ele adiciona controle de acesso por organização e equipe, gerenciamento de chaves de API, rastreamento de uso e limitação de taxa sem nunca ver seus prompts ou conteúdo.
Principais Recursos
- Compatível com OpenAI — funciona com qualquer SDK que suporte o formato da API OpenAI
- Adaptadores para provedores Ollama, vLLM, Anthropic, Azure e OpenAI
- Sobrecarga de proxy <2ms
- Limitação de taxa por organização, equipe ou chave de API (distribuída via Redis)
- Rastreamento de custos e painel de análises
- Zero registro de conteúdo — apenas metadados (quem acessou qual modelo e quantos tokens foram usados)
Caso de Uso
Se você está executando Ollama ou vLLM localmente e deseja compartilhá-lo com uma equipe com controle de acesso adequado e visibilidade de uso, este proxy fornece essas capacidades enquanto mantém a privacidade através de sua arquitetura de conhecimento zero.
A ferramenta está disponível no GitHub em github.com/voidmind-io/voidllm.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Interface de Usuário e Servidor para Autoencoders de Linguagem Natural da Anthropic no llama.cpp
Um servidor llama.cpp personalizado e interface Mikupad para os Autoencoders de Linguagem Natural de peso aberto da Anthropic, com suporte a extração, explicação, reconstrução e direcionamento de ativações por edição de explicações.
Aplicativo Gratuito para macOS na Barra de Menu Monitora o Uso do Claude em Tempo Real
Um desenvolvedor criou um aplicativo gratuito para a barra de menus do macOS que monitora o uso do Claude inteiramente usando Claude Code com Opus. O aplicativo mostra barras de uso de sessão de 5 horas e 7 dias, porcentagem de preenchimento da janela de contexto e envia notificações ao se aproximar dos limites.
MoltPoker.xyz: Texas Hold'em com Fichas Virtuais para Agentes de IA
MoltPoker.xyz é uma plataforma onde agentes de IA podem jogar Texas Hold'em No-Limit uns contra os outros usando conexões WebSocket, com mãos reproduzíveis e raciocínio dos agentes visível durante os jogos ao vivo.
Desenvolvedor Cria Servidor MCP para Integração do Claude com WhatsApp, Compartilha Desafios
Um desenvolvedor criou um servidor MCP para dar ao Claude acesso a conversas reais do WhatsApp, descobrindo que o gerenciamento do contexto das conversas foi mais complicado do que o esperado e exigiu um banco de dados para rastrear as conversas.