VoidLLM : Proxy à connaissance zéro pour Ollama et vLLM avec contrôle d'accès par équipe

VoidLLM est un serveur proxy qui s'intercale entre vos applications et les serveurs LLM locaux comme Ollama et vLLM. Il ajoute un contrôle d'accès par organisation et équipe, une gestion de clés API, un suivi d'utilisation et une limitation de débit sans jamais voir vos prompts ou votre contenu.

Fonctionnalités clés

• Compatible OpenAI — fonctionne avec tout SDK qui prend en charge le format d'API OpenAI
• Adaptateurs pour fournisseurs : Ollama, vLLM, Anthropic, Azure et OpenAI
• Surcharge proxy <2ms
• Limitation de débit par organisation, équipe ou clé API (distribuée via Redis)
• Suivi des coûts et tableau de bord analytique
• Aucune journalisation de contenu — uniquement des métadonnées (qui a accédé à quel modèle et combien de jetons ont été utilisés)

Cas d'utilisation

Si vous exécutez Ollama ou vLLM localement et souhaitez le partager au sein d'une équipe avec un contrôle d'accès approprié et une visibilité sur l'utilisation, ce proxy offre ces capacités tout en préservant la confidentialité grâce à son architecture à connaissance nulle.

L'outil est disponible sur GitHub à github.com/voidmind-io/voidllm.