Pali v0.1: 재현 가능한 벤치마크를 갖춘 LLM용 오픈 소스 메모리 인프라
Pali란 무엇인가
Pali는 인프라를 우선시하는 LLM용 오픈 소스 메모리 인프라입니다. Go로 구축되어 단일 바이너리로 즉시 사용 가능하며, qdrant, neo4j, ollama, openrouter와 같은 플러그 앤 플레이 부착물에 대한 구성이 포함되어 있습니다. 이 프로젝트는 MIT 라이선스로 제공되며 완전히 자체 호스팅이 가능합니다.
주요 기능
- 테넌트 범위 격리를 갖춘 다중 테넌트 메모리 API
- 어휘적, 밀집, 융합, 재순위 및 선택적 다중 홉 확장을 통한 하이브리드 검색
- 메모리 우선 도구와 테넌트 인식 해결 기능을 갖춘 MCP 서버
- 각각 Python 및 JavaScript 패키지가 실시간으로 제공되는 REST API
- 운영자가 테넌트, 메모리 및 시스템 상태를 검사할 수 있는 대시보드
- 벡터 저장소, 임베더, 엔터티-팩트 백엔드 및 점수 매기기/라우팅을 위한 플러그 앤 플레이 확장 지점
벤치마크 접근 방식
창작자는 재현 가능한 접근 방식을 구현하여 메모리 스택 벤치마크의 일반적인 문제를 해결합니다:
- 모든 실행은 사용된 정확한 구성 파일(프로필 + 렌더링됨)을 저장합니다
- 하드웨어가 완전히 공개됩니다(CPU, GPU, RAM, 모델 버전)
- 쌍 비교만 수행 — 모든 프로필에서 동일한 고정 장치/평가/top_k 사용
- 속도 레인과 검색 품질 레인은 별도로 유지됩니다
성능 수치
Ryzen 9 7950X + RTX 5070에서 테스트한 벤치마크:
- sqlite + 어휘적: 208 저장 작업/초, Top1=0.32, Recall@5=0.54
- qdrant + ollama (all-minilm): 98 저장 작업/초, Top1=0.34, Recall@5=0.52
- 파서+그래프(구조화된 메모리 스트레스 레인): 2.4 저장 작업/초 — 구조화된 추출 비용으로 인해 느리지만, LoCoMo에서는 평균 약 30, 일시적 최고치는 약 40 정도 기록
중요한 설명
Pali는 SaaS 의미에서의 LLM 메모리가 아닙니다. 이는 검은 상자 점수 매기기나 잠긴 제공자 결정 없이 자체 워크플로우에 최적화된 원시 검색 결과를 반환합니다. 앱 계약을 변경하지 않고 구성을 통해 벡터 백엔드, 임베더 및 점수 매기기 도구를 교체할 수 있습니다.
프로젝트 상태
버전 0.1이 최근에 적절한 벤치마크 제품군이 추가된 상태로 푸시되었습니다. 창작자는 기여자를 찾고 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Open-Foundry: 클로드 코드를 활용한 다중 에이전트 토론 프레임워크
Open-foundry는 복잡한 질문을 토론하기 위해 여러 Claude Code 에이전트를 패널로 구성하는 Python 프레임워크로, 완전히 검사 가능한 추론 흔적을 기록, 오케스트레이터 로그, 에이전트별 작업 노트를 포함한 트랜스크립트를 생성합니다.
M3 Pro에서 Qwen3.6으로 Claude Code 오프라인 실행하기: 작동하게 만든 4가지 수정
네 가지 환경 변수 설정으로 Claude Code가 M3 Pro에서 완전히 오프라인으로 Qwen3.6 (MoE, ~3B 활성)을 실행하며, SRE 사고 대응 주기를 조사부터 PR까지 완료하고 데이터가 외부로 유출되지 않습니다.
오픈소스 LLM 에이전트 자동 메모리 시스템, 94% 회상 정확도 달성
개발자가 LLM 기반 에이전트를 위한 메모리 플러그인을 구축했으며, 이 플러그인은 사용자의 명시적인 명령 없이도 세션 간에 사실을 자동으로 추출, 분류 및 지속적으로 저장합니다. 이 시스템은 벡터 데이터베이스 대신 구조화된 마크다운 파일을 사용하여 52개 체크포인트 회상 벤치마크에서 94.2%의 정확도를 달성했습니다.
개발자가 공유하는 하이브리드 AI 코딩 워크플로우: 계획은 Claude, 실행은 로컬 모델
한 개발자가 Claude 3.5 Sonnet을 작업 계획에, Ollama를 통해 로컬 Qwen2.5-Coder 모델을 코드 생성에 사용하는 파이프라인을 구축하여 Claude 단독 사용 대비 85%의 토큰 감소를 달성했습니다.