VoidLLM: Прокси-сервер с нулевым знанием для Ollama и vLLM с контролем доступа для команд
VoidLLM — это прокси-сервер, который располагается между вашими приложениями и локальными LLM-серверами, такими как Ollama и vLLM. Он добавляет контроль доступа для организаций и команд, управление API-ключами, отслеживание использования и ограничение скорости, никогда не видя ваши промпты или контент.
Ключевые особенности
- Совместимость с OpenAI — работает с любым SDK, поддерживающим формат API OpenAI
- Адаптеры для провайдеров Ollama, vLLM, Anthropic, Azure и OpenAI
- Накладные расходы прокси <2 мс
- Ограничение скорости для организации, команды или API-ключа (распределённо через Redis)
- Отслеживание затрат и аналитическая панель
- Нулевое логирование контента — только метаданные (кто обращался к какой модели и сколько токенов было использовано)
Сценарий использования
Если вы запускаете Ollama или vLLM локально и хотите предоставить к ним доступ команде с надлежащим контролем доступа и видимостью использования, этот прокси обеспечивает эти возможности, сохраняя конфиденциальность благодаря своей архитектуре с нулевым знанием.
Инструмент доступен на GitHub по адресу github.com/voidmind-io/voidllm.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Lightfeed Extractor: Библиотека на TypeScript для надежного извлечения веб-данных с использованием LLM
Lightfeed Extractor — это библиотека на TypeScript, которая обрабатывает полный конвейер от исходного HTML до проверенных структурированных данных с использованием LLM, с такими функциями, как преобразование HTML в markdown, валидация схем Zod, восстановление JSON и встроенная автоматизация браузера Playwright.
Agent MCP Studio: Создавайте мультиагентные MCP-системы полностью в браузере через WASM
Agent MCP Studio позволяет проектировать, оркестрировать и экспортировать MCP-агентные системы из одного статического HTML-файла с использованием WebAssembly – без бэкенда, Docker и сервера.
Запускайте локальные LLM на телефоне с Observer: offline-агенты для мониторинга и логирования
Observer — это iOS-приложение с открытым исходным кодом, которое запускает мультимодальные LLM локально на вашем телефоне для отслеживания событий, записи данных и отправки уведомлений в Discord — всё офлайн и бесплатно.
Солитер: Открытая инфраструктура идентификации для ИИ-агентов
Solitaire — это проект с открытым исходным кодом, представляющий инфраструктуру идентификации для ИИ-агентов, который фокусируется на том, как агенты улучшают свои рабочие отношения с пользователями со временем, а не только на запоминании. Проект является локально-ориентированным, независимым от модели и доступен через pip install solitaire-ai.