VoidLLM: Прокси-сервер с нулевым знанием для Ollama и vLLM с контролем доступа для команд

VoidLLM — это прокси-сервер, который располагается между вашими приложениями и локальными LLM-серверами, такими как Ollama и vLLM. Он добавляет контроль доступа для организаций и команд, управление API-ключами, отслеживание использования и ограничение скорости, никогда не видя ваши промпты или контент.

Ключевые особенности

• Совместимость с OpenAI — работает с любым SDK, поддерживающим формат API OpenAI
• Адаптеры для провайдеров Ollama, vLLM, Anthropic, Azure и OpenAI
• Накладные расходы прокси <2 мс
• Ограничение скорости для организации, команды или API-ключа (распределённо через Redis)
• Отслеживание затрат и аналитическая панель
• Нулевое логирование контента — только метаданные (кто обращался к какой модели и сколько токенов было использовано)

Сценарий использования

Если вы запускаете Ollama или vLLM локально и хотите предоставить к ним доступ команде с надлежащим контролем доступа и видимостью использования, этот прокси обеспечивает эти возможности, сохраняя конфиденциальность благодаря своей архитектуре с нулевым знанием.

Инструмент доступен на GitHub по адресу github.com/voidmind-io/voidllm.