Caliby: С открытым исходным кодом встроенная векторная база данных для AI-агентов с гибридным текстово-векторным хранением

Caliby теперь с открытым исходным кодом: встроенная, работающая в процессе векторная база данных, разработанная для нагрузок AI Agent и RAG. Разработанная командой, включающей доктора наук из группы баз данных MIT (команда Майкла Стоунбрейкера) и Sea-Land AI, она представляет собой единую библиотеку на C++ с привязками к Python.

Зачем еще одна векторная БД?

Команда обнаружила, что существующие решения не соответствуют требованиям для агентов/LLM:

• FAISS: Чисто in-memory, нет постоянства — перезапуск очищает индекс.
• pgvector: Потолок производительности из-за зависимости от PostgreSQL.
• Chroma / Qdrant / Milvus: Требуют отдельных сервисов, слишком тяжелы для встраиваемых сценариев.
• LanceDB: Встраиваемый, но не хватает продвинутых индексов, таких как DiskANN, узкие места в производительности.

Caliby стремится быть легковесным, встраиваемым движком данных, как DuckDB, но для хранения векторов и текста.

Архитектура: гибридное хранение текста + векторов

Caliby объединяет текстовые и векторные данные в единой системе. Вместо того чтобы жонглировать векторной БД и реляционной БД, вы храните эмбеддинги, необработанный текст и метаданные в одной библиотеке. Архитектура использует буферный пул с организацией страниц для постоянства.

Поддерживаемые индексы

• HNSW: Общий высокопроизводительный поиск, оптимизированный под CPU.
• DiskANN (граф Vamana): Предназначен для сценариев на диске, превосходит FAISS на диске.
• IVF+PQ: Инвертированный файл с продуктным квантованием для компактных индексов.

Caliby также поддерживает полный перебор с SIMD (AVX-512, AVX2, SSE) функциями расстояния (L2, InnerProduct, Cosine).

Заявления о производительности

Caliby превосходит pgvector в 4 раза и значительно опережает FAISS в сценариях хранения на диске. Он обрабатывает миллионы-десятки миллионов векторов на диске без необходимости отдельного сервиса.

Начало работы

Просто установите пакет:

pip install caliby

Python API предоставляет классы HnswIndex, DiskANN и IVFPQIndex через pybind11. Никаких зависимостей, настройки сервера или DevOps.

Для кого это

Разработчики AI Agent и создатели пайплайнов RAG, которым нужна встраиваемая векторная база данных с нулевой инфраструктурой, гибридными возможностями текст+вектор и производительностью производственного уровня.