VoidLLM: Zero-Knowledge-Proxy für Ollama und vLLM mit Team-Zugriffskontrolle
VoidLLM ist ein Proxy-Server, der zwischen Ihren Anwendungen und lokalen LLM-Servern wie Ollama und vLLM sitzt. Er fügt Organisations- und Team-Zugriffskontrolle, API-Schlüsselverwaltung, Nutzungsverfolgung und Ratenbegrenzung hinzu, ohne jemals Ihre Prompts oder Inhalte einzusehen.
Hauptmerkmale
- OpenAI-kompatibel – funktioniert mit jedem SDK, das das OpenAI-API-Format unterstützt
- Provider-Adapter für Ollama, vLLM, Anthropic, Azure und OpenAI
- <2ms Proxy-Overhead
- Ratenbegrenzung pro Organisation, Team oder API-Schlüssel (verteilt über Redis)
- Kostenverfolgung und Analyse-Dashboard
- Keine Inhaltsprotokollierung – nur Metadaten (wer hat auf welches Modell zugegriffen und wie viele Tokens wurden verwendet)
Anwendungsfall
Wenn Sie Ollama oder vLLM lokal betreiben und es mit einem Team mit ordnungsgemäßer Zugriffskontrolle und Nutzungssichtbarkeit teilen möchten, bietet dieser Proxy diese Funktionen, während die Privatsphäre durch seine Zero-Knowledge-Architektur gewahrt bleibt.
Das Tool ist auf GitHub verfügbar unter github.com/voidmind-io/voidllm.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Spectr: Ein MCP, das App-Spezifikationen aus Bildschirmaufnahmen für pixelgenaue Claude-Klone schreibt
Spectr ist ein MCP-Server, CLI und Claude Code Skill, der eine .mp4/.mov-Bildschirmaufnahme einer iOS-App nimmt und eine 7-teilige spec.md mit Hex-Codes, Schriftgewichten, Abständen, Übergängen und Navigationsgraphen generiert – und damit die 30-minütige manuelle Spezifikation pro Bildschirm überflüssig macht.
Tendril: Ein sich selbst erweiternder Agent, der Werkzeuge im Handumdrehen erstellt und registriert
Tendril ist eine agentische Sandbox, die autonom Werkzeuge entdeckt, erstellt und registriert. Sie startet mit nur drei Bootstrap-Werkzeugen und erweitert dynamisch ihre Fähigkeitsregistrierung, ohne den Nutzer zu fragen.
SourceBridge: Open-Source-Tool zur Codebasis-Analyse mit lokalen LLMs
SourceBridge ist ein Open-Source-Tool, das Git-Repositories in Symbolgraphen indiziert und lokale LLMs nutzt, um Codebase-Zusammenfassungen, Architekturführungen und Lernmaterialien zu generieren. Es unterstützt mehrere lokale Backends, darunter Ollama, llama.cpp, vLLM, LM Studio und SGLang über OpenAI-kompatible APIs.
iai-mcp: Lokaler Daemon verleiht Claude dauerhaften Speicher über Sitzungen hinweg mit 99% Rückruf
iai-mcp ist ein Open-Source-Local-Daemon, der jedes Claude-Gespräch erfasst, es in drei Speicherstufen organisiert und bei neuen Sitzungen den Kontext zurückgibt. Er erzielt >99% wörtliche Wiederholung, Abruf unter 100ms und Kosten unter 3.000 Tokens zu Sitzungsbeginn.