VoidLLM: 팀 접근 제어 기능을 갖춘 Ollama 및 vLLM용 제로-지식 프록시
VoidLLM은 Ollama 및 vLLM과 같은 로컬 LLM 서버와 애플리케이션 사이에 위치하는 프록시 서버입니다. 이는 조직 및 팀 접근 제어, API 키 관리, 사용량 추적, 속도 제한을 추가하면서도 사용자의 프롬프트나 콘텐츠를 절대 확인하지 않습니다.
주요 기능
- OpenAI 호환 — OpenAI API 형식을 지원하는 모든 SDK와 작동
- Ollama, vLLM, Anthropic, Azure, OpenAI용 제공자 어댑터
- <2ms 프록시 오버헤드
- 조직, 팀 또는 API 키별 속도 제한 (Redis를 통한 분산)
- 비용 추적 및 분석 대시보드
- 콘텐츠 로깅 없음 — 메타데이터만 기록 (누가 어떤 모델에 접근했고 얼마나 많은 토큰을 사용했는지)
사용 사례
로컬에서 Ollama나 vLLM을 실행 중이고 적절한 접근 제어와 사용 가시성을 갖춘 팀 전체와 공유하고 싶다면, 이 프록시는 제로지식 아키텍처를 통해 개인정보를 유지하면서 해당 기능을 제공합니다.
이 도구는 github.com/voidmind-io/voidllm에서 GitHub를 통해 이용할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
AI가 번역 계층을 먹어버렸다: 에이전트 이후의 조직도
Ajey Gore는 AI가 직무를 대체한 것이 아니라 번역(task)을 먹어치웠다고 주장합니다. 조직도 중간(엔지니어링 매니저, 스크럼 마스터, 테크 리드)은 에이전트가 요구사항을 직접 코드로 변환하면서 줄어들고 있습니다.
오픈클로 행동 진화를 위한 4단계 자체 감사 시스템
한 개발자가 4단계 감사 시스템을 구축했는데, 여기서 Gemini는 주간으로 Claude의 사각지대를 검토하여 Claude가 자체 검토에서 놓친 패턴을 포착합니다. 이 시스템에는 수정 후 검증, 패턴 마이닝, 외부 미러링, 기대 대 현실 검사가 포함됩니다.
터미널 기반 3D 렌더러, 멀티 에이전트 Claude 코드 시스템으로 구축
한 개발자가 3일 동안 Claude Code 설정을 통해 약 70-80개의 AI 에이전트를 조정하여 유니코드와 ASCII 기호를 사용해 가우시안 스플랫을 표시하는 순수 터미널 기반 3D 렌더러인 tortuise를 만들었습니다.
'nice-figures' 클로드 코드 플러그인이 연구 블로그 스타일의 Matplotlib 플롯을 생성하다
nice-figures는 Anthropic의 소프트 파스텔 연구 블로그 스타일의 matplotlib 그래프를 생성하는 Claude Code 플러그인입니다. 16개의 차트 레시피, 추가 종속성 불필요, 자동 스타일링을 제공합니다.