VoidLLM : Proxy à connaissance zéro pour Ollama et vLLM avec contrôle d'accès par équipe
VoidLLM est un serveur proxy qui s'intercale entre vos applications et les serveurs LLM locaux comme Ollama et vLLM. Il ajoute un contrôle d'accès par organisation et équipe, une gestion de clés API, un suivi d'utilisation et une limitation de débit sans jamais voir vos prompts ou votre contenu.
Fonctionnalités clés
- Compatible OpenAI — fonctionne avec tout SDK qui prend en charge le format d'API OpenAI
- Adaptateurs pour fournisseurs : Ollama, vLLM, Anthropic, Azure et OpenAI
- Surcharge proxy <2ms
- Limitation de débit par organisation, équipe ou clé API (distribuée via Redis)
- Suivi des coûts et tableau de bord analytique
- Aucune journalisation de contenu — uniquement des métadonnées (qui a accédé à quel modèle et combien de jetons ont été utilisés)
Cas d'utilisation
Si vous exécutez Ollama ou vLLM localement et souhaitez le partager au sein d'une équipe avec un contrôle d'accès approprié et une visibilité sur l'utilisation, ce proxy offre ces capacités tout en préservant la confidentialité grâce à son architecture à connaissance nulle.
L'outil est disponible sur GitHub à github.com/voidmind-io/voidllm.
📖 Read the full source: r/LocalLLaMA
👀 See Also
claude-powerline v1.20 ajoute le mode tableau de bord TUI, les styles de barre de contexte et l'affichage des variables d'environnement.
claude-powerline v1.20 introduit un mode tableau de bord TUI qui remplace la simple ligne d'état par un panneau complet affichant les informations du modèle, l'utilisation du contexte avec barre de progression, les coûts, l'état git, et plus encore. La mise à jour ajoute 9 styles visuels de barre de progression pour l'utilisation du contexte et la capacité d'affichage des variables d'environnement.
Claude pour le travail de design : Comment arrêter de répéter les mêmes arguments de goût à chaque session
Un développeur utilisant Claude pour des projets clients décrit le problème central : Claude n'a aucune mémoire des décisions de design rejetées, ce qui conduit à des résultats génériques et à une identité de marque incohérente.
Présentation de Xrouter : Un routeur LLM hybride intelligent pour optimiser les coûts et les performances.
Découvrez Xrouter, une création open source qui intègre dynamiquement l'inférence locale avec le cloud, conçue pour réduire drastiquement les coûts de l'IA tout en améliorant l'efficacité.
Fiche de Code Claude Imprimable avec Mises à Jour Automatiques Hebdomadaires
Un développeur a créé une feuille de triche imprimable pour Claude Code qui se met à jour automatiquement chaque semaine. La feuille a été générée en utilisant Claude lui-même après avoir étudié les fonctionnalités de la documentation et de GitHub.