VoidLLM : Proxy à connaissance zéro pour Ollama et vLLM avec contrôle d'accès par équipe
VoidLLM est un serveur proxy qui s'intercale entre vos applications et les serveurs LLM locaux comme Ollama et vLLM. Il ajoute un contrôle d'accès par organisation et équipe, une gestion de clés API, un suivi d'utilisation et une limitation de débit sans jamais voir vos prompts ou votre contenu.
Fonctionnalités clés
- Compatible OpenAI — fonctionne avec tout SDK qui prend en charge le format d'API OpenAI
- Adaptateurs pour fournisseurs : Ollama, vLLM, Anthropic, Azure et OpenAI
- Surcharge proxy <2ms
- Limitation de débit par organisation, équipe ou clé API (distribuée via Redis)
- Suivi des coûts et tableau de bord analytique
- Aucune journalisation de contenu — uniquement des métadonnées (qui a accédé à quel modèle et combien de jetons ont été utilisés)
Cas d'utilisation
Si vous exécutez Ollama ou vLLM localement et souhaitez le partager au sein d'une équipe avec un contrôle d'accès approprié et une visibilité sur l'utilisation, ce proxy offre ces capacités tout en préservant la confidentialité grâce à son architecture à connaissance nulle.
L'outil est disponible sur GitHub à github.com/voidmind-io/voidllm.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Système de bandit contextuel auto-hébergé en Rust : Syntra et Lycan pour des systèmes de décision adaptatifs
Deux projets open-source : Lycan (langage d'exécution de graphes avec nœuds de stratégie et poids appris) et Syntra (appliance Docker/API servant des capsules Lycan compilées). Des bugs de pipeline de données découverts avant les bugs d'exécution lors d'un dogfooding sur un produit de débat boursier IA.
Gemma4 26B-A4B Offre des Performances Locales Rapides avec Recherche Web et Prise en Charge des Images
Le modèle gemma-4-26B-A4B atteint environ 145 tokens par seconde sur une RTX 4090 et inclut la recherche web MCP et la prise en charge d'images pour les applications de chat. Un article de blog détaille la configuration et l'utilisation multiplateforme sur Mac et iPhone.
Fonctionnalités non documentées de Claude Code : Hooks, mémoire, classificateur YOLO et plus
Le code source de Claude Code révèle des configurations cachées : classificateur YOLO pour l'auto-permission, hooks qui réécrivent les commandes, mémoire persistante de l'agent, règles de mode automatique en français courant et boucles de rêve.
Compétence d'Agent Open Source pour les Modèles TypeScript, React et Next.js
Un développeur a publié une référence structurée en markdown de 4 000 lignes et 17 fichiers, conçue pour que les agents IA comme Claude Code puissent la suivre lors de la génération ou de la révision de code TypeScript, React et Next.js. Elle aborde des problèmes courants comme la validation incorrecte des réponses API et l'utilisation abusive des directives 'use client'.