VoidLLM: 팀 접근 제어 기능을 갖춘 Ollama 및 vLLM용 제로-지식 프록시
VoidLLM은 Ollama 및 vLLM과 같은 로컬 LLM 서버와 애플리케이션 사이에 위치하는 프록시 서버입니다. 이는 조직 및 팀 접근 제어, API 키 관리, 사용량 추적, 속도 제한을 추가하면서도 사용자의 프롬프트나 콘텐츠를 절대 확인하지 않습니다.
주요 기능
- OpenAI 호환 — OpenAI API 형식을 지원하는 모든 SDK와 작동
- Ollama, vLLM, Anthropic, Azure, OpenAI용 제공자 어댑터
- <2ms 프록시 오버헤드
- 조직, 팀 또는 API 키별 속도 제한 (Redis를 통한 분산)
- 비용 추적 및 분석 대시보드
- 콘텐츠 로깅 없음 — 메타데이터만 기록 (누가 어떤 모델에 접근했고 얼마나 많은 토큰을 사용했는지)
사용 사례
로컬에서 Ollama나 vLLM을 실행 중이고 적절한 접근 제어와 사용 가시성을 갖춘 팀 전체와 공유하고 싶다면, 이 프록시는 제로지식 아키텍처를 통해 개인정보를 유지하면서 해당 기능을 제공합니다.
이 도구는 github.com/voidmind-io/voidllm에서 GitHub를 통해 이용할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
컨텍스트 라우팅 레이어는 접근된 파일을 추적하여 Claude 코드 토큰 사용량을 줄입니다
한 개발자가 컨텍스트 라우팅 계층을 추가하여 AI가 후속 차례에서 동일한 저장소 파일을 다시 읽지 않도록 함으로써 Claude Code 사용 비용을 월 약 80달러 절약했습니다. 이 도구는 이미 접근한 파일을 추적하여 중복 토큰 소비를 줄입니다.
Freddy MCP 서버, 헤드리스 로그인으로 웨어러블과 AI 에이전트 연결
Freddy는 착용 기기(Polar, Oura, Withings, Suunto, Intervals.icu, Hevy, 그리고 베타 중인 WHOOP, Strava, Dexcom)를 Claude Code, ChatGPT, Notion AI 등 AI 클라이언트와 OAuth로 연결하는 개인 MCP 서버입니다. 새로운 헤드리스 로그인을 통해 자율 에이전트가 예약된 워크플로를 실행할 수 있습니다.
Vibeyard를 사용한 AI 코딩 에이전트의 무음 도구 오류 감지
Vibeyard는 AI 코딩 에이전트가 침묵하는 도구 실패를 감지하는 도구입니다. 이는 개발자에게 알리지 않고 대체 전략으로 전환하는 경우로, 세션 중에 이러한 비효율성을 표면화하고 반복되는 비효율적인 워크플로를 방지하기 위한 수정 사항을 제안할 수 있습니다.
Qure: 브라우저 흐름 기록에서 E2E 테스트를 생성하는 데스크톱 앱
Qure는 JetBrains에서 개발한 데스크톱 애플리케이션으로(현재 클로즈드 베타 중), 내장 브라우저에서 녹화한 내용을 바탕으로 엔드투엔드 웹 테스트 코드를 생성합니다. 개발자는 AI 에이전트를 위해 텍스트로 테스트 흐름을 설명하는 대신, 제품과 상호작용하며 수동 QA 시나리오를 녹화하면, AI가 기존 코드베이스와 일치하는 작동하는 테스트 코드를 생성합니다.