VoidLLM: Zero-Knowledge-Proxy für Ollama und vLLM mit Team-Zugriffskontrolle

VoidLLM ist ein Proxy-Server, der zwischen Ihren Anwendungen und lokalen LLM-Servern wie Ollama und vLLM sitzt. Er fügt Organisations- und Team-Zugriffskontrolle, API-Schlüsselverwaltung, Nutzungsverfolgung und Ratenbegrenzung hinzu, ohne jemals Ihre Prompts oder Inhalte einzusehen.

Hauptmerkmale

• OpenAI-kompatibel – funktioniert mit jedem SDK, das das OpenAI-API-Format unterstützt
• Provider-Adapter für Ollama, vLLM, Anthropic, Azure und OpenAI
• <2ms Proxy-Overhead
• Ratenbegrenzung pro Organisation, Team oder API-Schlüssel (verteilt über Redis)
• Kostenverfolgung und Analyse-Dashboard
• Keine Inhaltsprotokollierung – nur Metadaten (wer hat auf welches Modell zugegriffen und wie viele Tokens wurden verwendet)

Anwendungsfall

Wenn Sie Ollama oder vLLM lokal betreiben und es mit einem Team mit ordnungsgemäßer Zugriffskontrolle und Nutzungssichtbarkeit teilen möchten, bietet dieser Proxy diese Funktionen, während die Privatsphäre durch seine Zero-Knowledge-Architektur gewahrt bleibt.

Das Tool ist auf GitHub verfügbar unter github.com/voidmind-io/voidllm.