VoidLLM：OllamaとvLLMのためのゼロ知識プロキシ、チームアクセス制御付き

VoidLLMは、OllamaやvLLMなどのローカルLLMサーバーとアプリケーションの間に位置するプロキシサーバーです。組織やチームのアクセス制御、APIキー管理、使用状況の追跡、レート制限を追加しますが、プロンプトやコンテンツを閲覧することはありません。

主な機能

• OpenAI互換 — OpenAI APIフォーマットをサポートする任意のSDKで動作
• Ollama、vLLM、Anthropic、Azure、OpenAI用のプロバイダーアダプター
• プロキシオーバーヘッド2ミリ秒未満
• 組織、チーム、またはAPIキーごとのレート制限（Redisによる分散）
• コスト追跡と分析ダッシュボード
• コンテンツロギングなし — メタデータのみ（誰がどのモデルにアクセスし、何トークン使用したか）

ユースケース

ローカルでOllamaやvLLMを実行しており、適切なアクセス制御と使用状況の可視化を備えてチーム全体で共有したい場合、このプロキシはゼロ知識アーキテクチャによるプライバシーを維持しながら、これらの機能を提供します。

このツールはGitHubで利用可能です: github.com/voidmind-io/voidllm。