VoidLLM：OllamaとvLLMのためのゼロ知識プロキシ、チームアクセス制御付き
VoidLLMは、OllamaやvLLMなどのローカルLLMサーバーとアプリケーションの間に位置するプロキシサーバーです。組織やチームのアクセス制御、APIキー管理、使用状況の追跡、レート制限を追加しますが、プロンプトやコンテンツを閲覧することはありません。
主な機能
- OpenAI互換 — OpenAI APIフォーマットをサポートする任意のSDKで動作
- Ollama、vLLM、Anthropic、Azure、OpenAI用のプロバイダーアダプター
- プロキシオーバーヘッド2ミリ秒未満
- 組織、チーム、またはAPIキーごとのレート制限（Redisによる分散）
- コスト追跡と分析ダッシュボード
- コンテンツロギングなし — メタデータのみ（誰がどのモデルにアクセスし、何トークン使用したか）
ユースケース
ローカルでOllamaやvLLMを実行しており、適切なアクセス制御と使用状況の可視化を備えてチーム全体で共有したい場合、このプロキシはゼロ知識アーキテクチャによるプライバシーを維持しながら、これらの機能を提供します。
このツールはGitHubで利用可能です: github.com/voidmind-io/voidllm。
📖 Read the full source: r/LocalLLaMA
👀 See Also
MCP対応エージェントネイティブホスティング：ocl-nexusでAIエージェント経由のアプリデプロイ
ocl-nexusがMCPサーバー設定を導入し、AIコーディングエージェントがAPIキーのみでアプリをSSO保護されたライブ環境に直接デプロイできるようになりました。
パイロットコンソール：プライベートAIエージェントネットワーク管理用ウェブダッシュボード
ある開発者が、Pilot Protocolを基盤とするP2Pネットワーク層を使用して、プライベートAIエージェントネットワークを管理するためのウェブダッシュボード「Pilot Console」を構築しました。開発者はClaudeを活用してバックエンドAPIのルーティングを生成し、Reactダッシュボードの構造を設計することで、開発を加速させました。
コンテキストルーティング層は、アクセスされたファイルを追跡することで、Claudeコードのトークン使用量を削減します。
開発者は、コンテキストルーティングレイヤーを追加することで、AIが後続のターンで同じリポジトリファイルを再読取するのを防ぎ、Claude Codeの使用料を月約80ドル節約しました。このツールは、既にアクセスされたファイルを追跡し、冗長なトークン消費を削減します。
改訂：エージェンティック・コーディングツールとY.js CRDTで構築されたAIエディター
Reviseは、エージェント型コーディングツールを使用して10ヶ月間にわたって一から構築されたAI文書エディターです。カスタムワードプロセッサエンジンとレンダリング層を備え、CRDTスタックにはY.jsのみを使用しています。校正と修正のため、GPT-5.4バリアントやClaudeモデルなど複数のAIモデルを統合しています。