VoidLLM: 팀 접근 제어 기능을 갖춘 Ollama 및 vLLM용 제로-지식 프록시
VoidLLM은 Ollama 및 vLLM과 같은 로컬 LLM 서버와 애플리케이션 사이에 위치하는 프록시 서버입니다. 이는 조직 및 팀 접근 제어, API 키 관리, 사용량 추적, 속도 제한을 추가하면서도 사용자의 프롬프트나 콘텐츠를 절대 확인하지 않습니다.
주요 기능
- OpenAI 호환 — OpenAI API 형식을 지원하는 모든 SDK와 작동
- Ollama, vLLM, Anthropic, Azure, OpenAI용 제공자 어댑터
- <2ms 프록시 오버헤드
- 조직, 팀 또는 API 키별 속도 제한 (Redis를 통한 분산)
- 비용 추적 및 분석 대시보드
- 콘텐츠 로깅 없음 — 메타데이터만 기록 (누가 어떤 모델에 접근했고 얼마나 많은 토큰을 사용했는지)
사용 사례
로컬에서 Ollama나 vLLM을 실행 중이고 적절한 접근 제어와 사용 가시성을 갖춘 팀 전체와 공유하고 싶다면, 이 프록시는 제로지식 아키텍처를 통해 개인정보를 유지하면서 해당 기능을 제공합니다.
이 도구는 github.com/voidmind-io/voidllm에서 GitHub를 통해 이용할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
클로드 코드용 맞춤 출력 스타일 컬렉션
한 개발자가 클로드 코드를 위한 13가지 맞춤형 출력 스타일을 만들어 AI의 동작을 시스템 프롬프트를 통해 수정했습니다. 이 스타일에는 잔인한 코드 비판을 위한 '로스트', 안내형 질문을 위한 '소크라테스', 적대적 테스트를 위한 '브레이커', 실용적 해결책을 위한 '십 잇', 보안 중심을 위한 '파라노이드', 테스트 주도 개발을 위한 'TDD' 등이 포함됩니다.
클로드는 대화형 차트 및 다이어그램 생성 기능을 추가합니다.
Claude는 이제 대화 내에서 직접 차트, 다이어그램, 탐색 가능한 분석을 포함한 인터랙티브 시각 자료를 생성할 수 있습니다. 이 기능은 무료 티어를 포함한 모든 요금제에서 베타로 이용 가능합니다.
APEX 테스트 벤치마크 결과: 실제 코딩 작업에서의 Qwen 3.5 성능
APEX 테스트 벤치마크 결과는 Qwen 3.5 모델들의 70개 실제 GitHub 코딩 작업 성능을 보여주며, 397B 버전은 마스터 수준 작업에서 1194 ELO로 떨어지는 반면 GLM-4.7 양자화 버전이 1572 ELO로 로컬 모델 중 선두를 달리고 있습니다.
개발자가 Claude Code를 활용해 디자인과 SEO를 위한 AI/ML 구인 게시판을 구축했습니다
한 개발자가 선도적인 연구소와 기업의 AI/ML 채용 정보를 분류하여 제공하는 무료 사이트 MOAIJobs.com을 제작했습니다. 이 사이트는 카테고리, 지역, 급여별 필터링 기능을 제공하며, 디자인과 기술적 SEO 구현은 개발자가 제공한 참고 자료와 설명을 바탕으로 Claude Code가 담당했습니다.