Caliby: С открытым исходным кодом встроенная векторная база данных для AI-агентов с гибридным текстово-векторным хранением
Caliby теперь с открытым исходным кодом: встроенная, работающая в процессе векторная база данных, разработанная для нагрузок AI Agent и RAG. Разработанная командой, включающей доктора наук из группы баз данных MIT (команда Майкла Стоунбрейкера) и Sea-Land AI, она представляет собой единую библиотеку на C++ с привязками к Python.
Зачем еще одна векторная БД?
Команда обнаружила, что существующие решения не соответствуют требованиям для агентов/LLM:
- FAISS: Чисто in-memory, нет постоянства — перезапуск очищает индекс.
- pgvector: Потолок производительности из-за зависимости от PostgreSQL.
- Chroma / Qdrant / Milvus: Требуют отдельных сервисов, слишком тяжелы для встраиваемых сценариев.
- LanceDB: Встраиваемый, но не хватает продвинутых индексов, таких как DiskANN, узкие места в производительности.
Caliby стремится быть легковесным, встраиваемым движком данных, как DuckDB, но для хранения векторов и текста.
Архитектура: гибридное хранение текста + векторов
Caliby объединяет текстовые и векторные данные в единой системе. Вместо того чтобы жонглировать векторной БД и реляционной БД, вы храните эмбеддинги, необработанный текст и метаданные в одной библиотеке. Архитектура использует буферный пул с организацией страниц для постоянства.
Поддерживаемые индексы
- HNSW: Общий высокопроизводительный поиск, оптимизированный под CPU.
- DiskANN (граф Vamana): Предназначен для сценариев на диске, превосходит FAISS на диске.
- IVF+PQ: Инвертированный файл с продуктным квантованием для компактных индексов.
Caliby также поддерживает полный перебор с SIMD (AVX-512, AVX2, SSE) функциями расстояния (L2, InnerProduct, Cosine).
Заявления о производительности
Caliby превосходит pgvector в 4 раза и значительно опережает FAISS в сценариях хранения на диске. Он обрабатывает миллионы-десятки миллионов векторов на диске без необходимости отдельного сервиса.
Начало работы
Просто установите пакет:
pip install calibyPython API предоставляет классы HnswIndex, DiskANN и IVFPQIndex через pybind11. Никаких зависимостей, настройки сервера или DevOps.
Для кого это
Разработчики AI Agent и создатели пайплайнов RAG, которым нужна встраиваемая векторная база данных с нулевой инфраструктурой, гибридными возможностями текст+вектор и производительностью производственного уровня.
📖 Прочитать полный источник: r/LocalLLaMA
👀 Смотрите также
Плагин HomeClaw соединяет Apple HomeKit с OpenClaw.
HomeClaw — это плагин OpenClaw, который подключает устройства Apple Home/HomeKit к OpenClaw. Для сборки и запуска требуется аккаунт разработчика Apple из-за ограничений Apple HomeKit для нотариально заверенных дистрибутивов.
Microsoft VibeVoice: ASR модели на 60 минут и TTS модели на 90 минут с открытым исходным кодом
VibeVoice — это семейство голосовых AI-моделей с открытым исходным кодом от Microsoft, включающее ASR (однопроходная обработка до 60 минут, диаризация дикторов, более 50 языков) и TTS (мультиспикер до 90 минут, потоковый режим в реальном времени). Использует непрерывные токенизаторы речи с частотой 7,5 Гц и диффузию следующего токена.
ClawProxy: Самостоятельно размещаемый прокси-сервер с маршрутизацией ИИ и панелью управления
ClawProxy — это открытый, самостоятельно размещаемый прокси, который централизует управление несколькими ключами API для ИИ и моделями. Он предоставляет единую конечную точку, интеллектуальную ротацию ключей, резервные провайдеры и журналирование в реальном времени через React-панель управления.
Расширение SendToAI для VS Code решает проблему 20-файлового ограничения Claude с помощью объединения проектов.
SendToAI — это бесплатное расширение для VS Code, которое упаковывает целые проекты в один фрагмент для буфера обмена, обходя ограничение Claude на загрузку 20 файлов. Оно включает визуальный выбор файлов, подсчёт токенов, оценку стоимости и заметки по проекту, которые сохраняются между сеансами.