Caliby: 하이브리드 텍스트+벡터 저장소를 갖춘 AI 에이전트용 오픈소스 임베디드 벡터 데이터베이스

Caliby가 이제 오픈소스로 공개되었습니다: AI Agent 및 RAG 워크로드를 위해 설계된 임베디드, 인프로세스 벡터 데이터베이스입니다. MIT DB 그룹(Michael Stonebraker 팀)의 박사와 Sea-Land AI를 포함한 팀이 개발했으며, Python 바인딩이 있는 단일 C++ 라이브러리입니다.

왜 또 다른 벡터 DB인가?

팀은 기존 솔루션이 에이전트/LLM 사용 사례에 부족하다는 것을 발견했습니다:

• FAISS: 순수 인메모리, 지속성 없음 — 재시작 시 인덱스 초기화.
• pgvector: PostgreSQL 의존성으로 인한 성능 한계.
• Chroma / Qdrant / Milvus: 별도 서비스 필요, 임베디드 시나리오에 너무 무거움.
• LanceDB: 임베디드이지만 DiskANN 같은 고급 인덱스 부재, 성능 병목.

Caliby는 DuckDB처럼 가볍고 임베디드 가능한 데이터 엔진을 목표로 하지만, 벡터 + 텍스트 저장을 위해 설계되었습니다.

아키텍처: 하이브리드 텍스트 + 벡터 저장

Caliby는 단일 시스템에서 텍스트와 벡터 데이터를 통합합니다. 벡터 DB와 관계형 DB를 오가며 사용하는 대신, 임베딩, 원시 텍스트, 메타데이터를 하나의 라이브러리에 저장합니다. 아키텍처는 지속성을 위해 페이지 구성 버퍼 풀을 사용합니다.

지원되는 인덱스

• HNSW: 일반 고성능 검색, CPU 최적화.
• DiskANN (Vamana Graph): 디스크 기반 시나리오용으로 설계, 디스크에서 FAISS보다 우수.
• IVF+PQ: 제품 양자화를 사용한 역파일로 컴팩트한 인덱스.

Caliby는 SIMD(AVX-512, AVX2, SSE) 거리 함수(L2, InnerProduct, Cosine)를 사용한 무차별 검색도 지원합니다.

성능 주장

Caliby는 pgvector보다 4배 빠르며 디스크 저장 시나리오에서 FAISS를 크게 능가합니다. 별도 서비스 없이 디스크에서 수백만에서 수천만 개의 벡터를 처리할 수 있습니다.

시작하기

간단히 패키지를 설치하세요:

pip install caliby

Python API는 pybind11을 통해 HnswIndex, DiskANN, IVFPQIndex 클래스를 노출합니다. 의존성 없음, 서버 설정 없음, DevOps 없음.

대상 사용자

임베디드, 제로 인프라 벡터 데이터베이스에 하이브리드 텍스트+벡터 기능과 프로덕션 등급 성능을 원하는 AI Agent 개발자 및 RAG 파이프라인 구축자.