VoidLLM: 팀 접근 제어 기능을 갖춘 Ollama 및 vLLM용 제로-지식 프록시
VoidLLM은 Ollama 및 vLLM과 같은 로컬 LLM 서버와 애플리케이션 사이에 위치하는 프록시 서버입니다. 이는 조직 및 팀 접근 제어, API 키 관리, 사용량 추적, 속도 제한을 추가하면서도 사용자의 프롬프트나 콘텐츠를 절대 확인하지 않습니다.
주요 기능
- OpenAI 호환 — OpenAI API 형식을 지원하는 모든 SDK와 작동
- Ollama, vLLM, Anthropic, Azure, OpenAI용 제공자 어댑터
- <2ms 프록시 오버헤드
- 조직, 팀 또는 API 키별 속도 제한 (Redis를 통한 분산)
- 비용 추적 및 분석 대시보드
- 콘텐츠 로깅 없음 — 메타데이터만 기록 (누가 어떤 모델에 접근했고 얼마나 많은 토큰을 사용했는지)
사용 사례
로컬에서 Ollama나 vLLM을 실행 중이고 적절한 접근 제어와 사용 가시성을 갖춘 팀 전체와 공유하고 싶다면, 이 프록시는 제로지식 아키텍처를 통해 개인정보를 유지하면서 해당 기능을 제공합니다.
이 도구는 github.com/voidmind-io/voidllm에서 GitHub를 통해 이용할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
9가지 구성 요소: 18개 비즈니스 전반에 걸쳐 지속적 OS로 Claude Code 실행하기
한 개발자가 18개의 Claude Code 인스턴스를 선택적 동기화가 가능한 공유 OS처럼 운영하며, 상태를 MCP 서버로 이동하고, 영수증 기반 검증과 자동 로딩 규칙을 적용하고 있습니다. 아키텍처에 대한 세부 설명입니다.
OpenClaw용 스킬 크리에이터 도구는 개발자가 워크플로우를 패키징하는 데 도움을 줍니다.
한 개발자가 OpenClaw를 위한 고품질 스킬을 만드는 과정을 안내하는 'skills-creator'라는 스킬을 만들었습니다. 이 도구는 모호한 설명이나 문서처럼 읽히는 지침서 같은 개발자들이 스킬을 만들 때 자주 겪는 문제점들을 해결합니다. ClawHub에서 이용 가능하며, 설명 작성 공식, 체크리스트, 복잡도 단계를 포함한 설계 중심 접근 방식을 제공합니다.
매니페스트 라우터, 오픈클로 모델 관리를 위한 ZAI 구독 지원 추가
Manifest 라우터가 이제 ZAI 구독을 지원하여 모든 ZAI 모델이 라우팅 계층에 표시되고 요청별로 자동 모델 선택이 가능해졌습니다. 이 도구는 베타 버전으로 무료, 오픈 소스이며 에이전트, 메시지, 모델별 비용을 추적할 수 있는 대시보드를 포함합니다.
MCP를 관측 가능성 인터페이스로: AI 에이전트를 커널 트레이스포인트에 연결하기
모델 컨텍스트 프로토콜(MCP)은 AI 에이전트와 인프라스트럭처 원격 측정 사이의 인터페이스로 부상하고 있으며, Datadog는 MCP 서버를 출시하고 Qualys는 보안 문제를 제기했습니다. 이 글은 기존 플랫폼을 래핑하거나 커널 트레이스포인트에 직접 연결되는 MCP 네이티브 가시성을 구축하는 두 가지 접근 방식을 탐구합니다.