Caliby : base de données vectorielle embarquée open-source pour agents IA avec stockage hybride texte+vecteurs

Caliby est désormais open-source : une base de données vectorielle embarquée et intra-processus conçue pour les charges de travail d'agent IA et de RAG. Développée par une équipe comprenant un docteur du groupe de bases de données du MIT (l'équipe de Michael Stonebraker) et Sea-Land AI, il s'agit d'une seule bibliothèque C++ avec des liaisons Python.

Pourquoi une autre base vectorielle ?

L'équipe a trouvé que les solutions existantes manquaient pour les cas d'utilisation d'agent/LLM :

• FAISS : Pure mémoire vive, pas de persistance — un redémarrage efface l'index.
• pgvector : Plafond de performance dû à la dépendance PostgreSQL.
• Chroma / Qdrant / Milvus : Nécessitent des services séparés, trop lourds pour les scénarios embarqués.
• LanceDB : Embarqué mais manque d'index avancés comme DiskANN, goulots d'étranglement de performance.

Caliby vise à être un moteur de données léger et embarquable comme DuckDB, mais pour le stockage vectoriel + texte.

Architecture : stockage hybride texte + vecteur

Caliby unifie les données textuelles et vectorielles dans un système unique. Au lieu de jongler entre une base vectorielle et une base relationnelle, vous stockez les embeddings, le texte brut et les métadonnées dans une seule bibliothèque. L'architecture utilise un pool de tampons organisé en pages pour la persistance.

Index pris en charge

• HNSW : Récupération générale haute performance, optimisé CPU.
• DiskANN (Graphe Vamana) : Conçu pour les scénarios disque, surpasse FAISS sur disque.
• IVF+PQ : Fichier inversé avec quantification de produit pour des index compacts.

Caliby prend également en charge la recherche par force brute avec des fonctions de distance SIMD (AVX-512, AVX2, SSE) (L2, Produit scalaire, Cosinus).

Revendications de performance

Caliby bat pgvector de 4x et dépasse significativement FAISS dans les scénarios de stockage sur disque. Il gère des millions à des dizaines de millions de vecteurs sur disque sans nécessiter de service séparé.

Pour commencer

Il suffit d'installer le paquet :

pip install caliby

L'API Python expose les classes HnswIndex, DiskANN et IVFPQIndex via pybind11. Pas de dépendances, pas de configuration de serveur, pas de DevOps.

À qui s'adresse-t-il ?

Développeurs d'agents IA et constructeurs de pipelines RAG qui souhaitent une base de données vectorielle embarquée, sans infrastructure, avec des capacités hybrides texte+vecteur et des performances de qualité production.