VoidLLM: Proxy de Conocimiento Cero para Ollama y vLLM con Control de Acceso por Equipo
VoidLLM es un servidor proxy que se sitúa entre tus aplicaciones y los servidores locales de LLM como Ollama y vLLM. Añade control de acceso por organización y equipo, gestión de claves API, seguimiento de uso y limitación de tasa sin ver nunca tus prompts o contenido.
Características Principales
- Compatible con OpenAI — funciona con cualquier SDK que soporte el formato de API de OpenAI
- Adaptadores para proveedores: Ollama, vLLM, Anthropic, Azure y OpenAI
- Sobrecarga de proxy <2ms
- Limitación de tasa por organización, equipo o clave API (distribuida vía Redis)
- Seguimiento de costes y panel de análisis
- Cero registro de contenido — solo metadatos (quién accedió a qué modelo y cuántos tokens se usaron)
Caso de Uso
Si estás ejecutando Ollama o vLLM localmente y quieres compartirlo con un equipo con control de acceso adecuado y visibilidad de uso, este proxy proporciona esas capacidades manteniendo la privacidad a través de su arquitectura de conocimiento cero.
La herramienta está disponible en GitHub en github.com/voidmind-io/voidllm.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
PromptForest: Detección de Inyección de Prompts Local-Primero con Incertidumbre
PromptForest es una biblioteca ligera y de primera local que detecta inyecciones de comandos y jailbreaks, clasificándolos mientras evalúa la certeza, todo sin aumentar la latencia promedio de las solicitudes.
yburn: Herramienta para auditar y reemplazar trabajos cron de agentes de IA innecesarios
yburn es una herramienta de Python que audita los trabajos cron de agentes de IA y reemplaza aquellos que no necesitan LLMs con scripts de Python independientes. El creador encontró que el 58% de 98 trabajos cron eran tareas puramente mecánicas como comprobaciones de salud del sistema y copias de seguridad de git.
Desarrollo de Lisp con Agentes de IA: Altos Costos y Desafíos Técnicos
Un ingeniero de DevOps descubrió que los agentes de IA tienen dificultades con el desarrollo en Lisp, costando $10-$20 en minutos por código mediocre, mientras que Python y Go funcionan eficientemente. Creó tmux-repl-mcp para mejorar la interacción con el REPL, pero aún enfrentó altos costos de tokens y problemas con las herramientas.
Herramienta CLI AI-Setup Genera Automáticamente Archivos de Configuración de IA para Pilas LLM Locales
AI-Setup es una herramienta CLI que escanea bases de código y genera automáticamente archivos de configuración de IA como .cursorrules y claude.md. Detecta tu stack para eliminar la escritura manual de reglas para cada nuevo proyecto.