Caliby: Open-Source eingebettete Vektordatenbank für KI-Agenten mit hybrider Text+Vektor-Speicherung

Caliby ist jetzt Open-Source: eine eingebettete, prozessinterne Vektordatenbank, die für KI-Agenten- und RAG-Workloads entwickelt wurde. Entwickelt von einem Team, das einen PhD von der MIT DB Group (Michael Stonebrakers Team) und Sea-Land AI umfasst, ist es eine einzelne C++-Bibliothek mit Python-Bindungen.

Warum eine weitere Vektordatenbank?

Das Team fand bestehende Lösungen für Agenten-/LLM-Anwendungsfälle unzureichend:

• FAISS: Rein im Arbeitsspeicher, keine Persistenz – ein Neustart löscht den Index.
• pgvector: Leistungsgrenze aufgrund der PostgreSQL-Abhängigkeit.
• Chroma / Qdrant / Milvus: Erfordern separate Dienste, zu schwer für eingebettete Szenarien.
• LanceDB: Eingebettet, aber es fehlen fortgeschrittene Indizes wie DiskANN, Leistungsengpässe.

Caliby zielt darauf ab, eine leichte, einbettbare Daten-Engine wie DuckDB zu sein, jedoch für Vektor- + Textspeicherung.

Architektur: Hybride Text- + Vektorspeicherung

Caliby vereint Text- und Vektordaten in einem einzigen System. Anstatt eine Vektordatenbank und eine relationale Datenbank zu jonglieren, speichern Sie Embeddings, Rohtext und Metadaten in einer Bibliothek. Die Architektur verwendet einen seitenorganisierten Buffer Pool für Persistenz.

Unterstützte Indizes

• HNSW: Allgemeine Hochleistungsabfrage, CPU-optimiert.
• DiskANN (Vamana Graph): Für diskbasierte Szenarien konzipiert, übertrifft FAISS auf der Festplatte.
• IVF+PQ: Invertierte Datei mit Produktquantisierung für kompakte Indizes.

Caliby unterstützt auch Brute-Force-Suche mit SIMD (AVX-512, AVX2, SSE) Distanzfunktionen (L2, InnerProduct, Cosine).

Leistungsbehauptungen

Caliby schlägt pgvector um das 4-fache und übertrifft FAISS in Festplattenspeicher-Szenarien deutlich. Es verarbeitet Millionen bis zehn Millionen Vektoren auf der Festplatte, ohne einen separaten Dienst zu benötigen.

Erste Schritte

Installieren Sie einfach das Paket:

pip install caliby

Die Python-API stellt die Klassen HnswIndex, DiskANN und IVFPQIndex über pybind11 bereit. Keine Abhängigkeiten, keine Serverinstallation, kein DevOps.

Für wen es gedacht ist

KI-Agenten-Entwickler und RAG-Pipeline-Ersteller, die eine einbettbare, infrastrukturlose Vektordatenbank mit hybriden Text+Vektor-Fähigkeiten und produktionsreifer Leistung wünschen.