VoidLLM: Прокси-сервер с нулевым знанием для Ollama и vLLM с контролем доступа для команд
VoidLLM — это прокси-сервер, который располагается между вашими приложениями и локальными LLM-серверами, такими как Ollama и vLLM. Он добавляет контроль доступа для организаций и команд, управление API-ключами, отслеживание использования и ограничение скорости, никогда не видя ваши промпты или контент.
Ключевые особенности
- Совместимость с OpenAI — работает с любым SDK, поддерживающим формат API OpenAI
- Адаптеры для провайдеров Ollama, vLLM, Anthropic, Azure и OpenAI
- Накладные расходы прокси <2 мс
- Ограничение скорости для организации, команды или API-ключа (распределённо через Redis)
- Отслеживание затрат и аналитическая панель
- Нулевое логирование контента — только метаданные (кто обращался к какой модели и сколько токенов было использовано)
Сценарий использования
Если вы запускаете Ollama или vLLM локально и хотите предоставить к ним доступ команде с надлежащим контролем доступа и видимостью использования, этот прокси обеспечивает эти возможности, сохраняя конфиденциальность благодаря своей архитектуре с нулевым знанием.
Инструмент доступен на GitHub по адресу github.com/voidmind-io/voidllm.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
OpenTabs: MCP-сервер с более чем 100 плагинами для доступа к инструментам ИИ через браузер.
OpenTabs — это MCP-сервер и расширение для Chrome, которое предоставляет доступ к более чем 100 плагинам с ~2000 инструментов, подключаясь к внутренним API веб-приложений, таким как Slack, Discord и GitHub. Он работает с существующими сессиями браузера, устраняя необходимость в API-ключах и OAuth-потоках.
Fewshell: Самостоятельно размещенный SSH-копайлот, отказывающийся выполнять команды без одобрения человека
Fewshell — это мобильный+десктопный SSH-копайлот, требующий обязательного одобрения человека для каждой команды — нет настройки для автоматического одобрения. Создан бывшим инженером Amazon AI, занимающимся исследованиями в области безопасности ИИ.
Пользовательский бэкенд llama.cpp переносит матричное умножение LLM на NPU AMD XDNA2 в процессорах Ryzen AI MAX 385
Разработчик создал пользовательский бэкенд llama.cpp, который отправляет операции GEMM напрямую на NPU AMD XDNA2 в Ryzen AI MAX 385 (Strix Halo), достигая скорости декодирования 43,7 t/s при энергопотреблении 0,947 Дж/токен с моделью Meta-Llama-3.1-8B-Instruct Q4_K_M. Путь декодирования через NPU экономит около 10 Вт по сравнению с использованием только Vulkan, при этом сохраняя ту же пропускную способность декодирования.
Echo-TTS портирован на Apple Silicon с использованием MLX для нативного TTS с клонированием голоса
Echo-TTS, 2.4-миллиардная диффузионная модель преобразования текста в речь с клонированием голоса, была портирована с CUDA для нативной работы на Apple M-серии с использованием MLX. На базовом 16 ГБ Mac mini M4 создание 5-секундного клона голоса занимает около 10 секунд, а 30-секундные клоны — около 60 секунд.