VoidLLM: 팀 접근 제어 기능을 갖춘 Ollama 및 vLLM용 제로-지식 프록시
VoidLLM은 Ollama 및 vLLM과 같은 로컬 LLM 서버와 애플리케이션 사이에 위치하는 프록시 서버입니다. 이는 조직 및 팀 접근 제어, API 키 관리, 사용량 추적, 속도 제한을 추가하면서도 사용자의 프롬프트나 콘텐츠를 절대 확인하지 않습니다.
주요 기능
- OpenAI 호환 — OpenAI API 형식을 지원하는 모든 SDK와 작동
- Ollama, vLLM, Anthropic, Azure, OpenAI용 제공자 어댑터
- <2ms 프록시 오버헤드
- 조직, 팀 또는 API 키별 속도 제한 (Redis를 통한 분산)
- 비용 추적 및 분석 대시보드
- 콘텐츠 로깅 없음 — 메타데이터만 기록 (누가 어떤 모델에 접근했고 얼마나 많은 토큰을 사용했는지)
사용 사례
로컬에서 Ollama나 vLLM을 실행 중이고 적절한 접근 제어와 사용 가시성을 갖춘 팀 전체와 공유하고 싶다면, 이 프록시는 제로지식 아키텍처를 통해 개인정보를 유지하면서 해당 기능을 제공합니다.
이 도구는 github.com/voidmind-io/voidllm에서 GitHub를 통해 이용할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
로컬 도구로 클로드 코드 세션 데이터 시각화하기
Python 스크립트가 로컬에 저장된 ~/.claude/의 Claude Code 세션 데이터를 읽고, D3.js 차트를 사용한 스크롤 기반 시각화를 생성하여 일일 활동, 프로젝트 분류, 도구 사용량, 코딩 리듬 히트맵을 보여줍니다.
콜로니: 로컬-퍼스트 조정 계층으로 멀티 에이전트 핸드오프 토큰을 30K에서 400으로 줄이다
Colony는 로컬 우선 조정 기반으로, 다중 에이전트 간 핸드오프 비용을 약 30,000 토큰에서 400 토큰으로 줄입니다. 컨텍스트 재생 대신 SQLite에 저장된 간결한 관찰을 사용합니다.
아버지와 함께 만든 AI 법의회계 소프트웨어 — CaseTrail, 금융 사기 탐지 자동화
아버지와 아들 팀이 만든 CaseTrail은 AI 기반의 법의학 회계 도구로, 은행 거래 명세서를 분석하고 이상 징후를 식별합니다. 이 블로그는 LLM을 활용한 거래 분석 통합에 대해 자세히 설명합니다.
Memex: Claude Cowork를 위한 오픈소스 메모리 플러그인
Memex는 계층적 컨텍스트 로딩 시스템을 사용하여 Claude Cowork에 세션 간 지속적인 메모리를 제공하는 오픈소스 플러그인입니다. /memex:init을 한 번 실행한 후, Claude는 세션당 약 20초 동안 자체 브리핑을 진행하고 이전에 중단한 부분부터 작업을 재개합니다.