VoidLLM: Zero-Knowledge-Proxy für Ollama und vLLM mit Team-Zugriffskontrolle
VoidLLM ist ein Proxy-Server, der zwischen Ihren Anwendungen und lokalen LLM-Servern wie Ollama und vLLM sitzt. Er fügt Organisations- und Team-Zugriffskontrolle, API-Schlüsselverwaltung, Nutzungsverfolgung und Ratenbegrenzung hinzu, ohne jemals Ihre Prompts oder Inhalte einzusehen.
Hauptmerkmale
- OpenAI-kompatibel – funktioniert mit jedem SDK, das das OpenAI-API-Format unterstützt
- Provider-Adapter für Ollama, vLLM, Anthropic, Azure und OpenAI
- <2ms Proxy-Overhead
- Ratenbegrenzung pro Organisation, Team oder API-Schlüssel (verteilt über Redis)
- Kostenverfolgung und Analyse-Dashboard
- Keine Inhaltsprotokollierung – nur Metadaten (wer hat auf welches Modell zugegriffen und wie viele Tokens wurden verwendet)
Anwendungsfall
Wenn Sie Ollama oder vLLM lokal betreiben und es mit einem Team mit ordnungsgemäßer Zugriffskontrolle und Nutzungssichtbarkeit teilen möchten, bietet dieser Proxy diese Funktionen, während die Privatsphäre durch seine Zero-Knowledge-Architektur gewahrt bleibt.
Das Tool ist auf GitHub verfügbar unter github.com/voidmind-io/voidllm.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
ScreenMind: Lokale KI-Erinnerung, die Ihre gesamte Computeraktivität indexiert
ScreenMind erfasst Bildschirm, Meetings und Sprachnotizen lokal mit Gemma 4 E2B via llama.cpp. Läuft auf 4 GB+ VRAM mit Q4-Quantisierung. Durchsuche vergangene Aktivitäten, chatte mit dem Verlauf und verbinde dich über MCP mit Claude/Cursor.
Banker erstellt Kredit-Due-Diligence-Tool mit nur 31 KI-Prompts unter Verwendung von Claude
Ein Banker mit 17 Jahren Erfahrung in der MSME-Kreditprüfung in Indien hat 31 KI-Prompts quelloffen gemacht, die eine Visitenkarte in einen vollständigen Kreditprüfbericht verwandeln und einen 3-4-wöchigen Prozess auf 30 Minuten verkürzen. Das Tool wurde ausschließlich durch Gespräche mit Claude erstellt, ohne eine einzige Codezeile zu schreiben.
KV-Cache-Wiederverwendung für lange Gespräche auf Apple Silicon ermöglicht 200-fache Beschleunigung
Ein Entwickler implementierte eine sitzungsbasierte Wiederverwendung des KV-Caches für lokale LLM-Inferenz mit Apples MLX-Framework und erreichte eine 200-fache Verbesserung der Zeit bis zum ersten Token bei einer Kontextlänge von 100K. Der Ansatz behält den KV-Cache im Speicher über Gesprächsrunden hinweg und verarbeitet nur neue Tokens.
MCP-Server verbindet KI-Agenten mit bestehenden Chrome-Sitzungen inklusive Cookies und Authentifizierung
@playwright-repl/mcp ist ein MCP-Server, der KI-Agenten mit Ihrem bestehenden Chrome-Browser über die Dramaturg-Erweiterung verbindet und Zugriff auf Ihre echte Browsersitzung inklusive Cookies und Authentifizierung bietet. Er unterstützt vollständiges Playwright JavaScript, Assertions und funktioniert mit Claude Desktop, Claude Code, Cursor oder jedem MCP-Client.