llmLibrarian: Локальный движок RAG с интеграцией MCP для файлового AI-поиска

Что это такое

llmLibrarian — это локальный движок RAG (Retrieval-Augmented Generation), который предоставляет возможности поиска через Model Context Protocol (MCP). Он позволяет индексировать папки в изолированные хранилища (коллекции ChromaDB), а затем запрашивать их из любого клиента MCP — включая Claude — для получения обоснованных ответов с указанием источников.

Ключевые возможности и архитектура

Инструмент индексирует папки в изолированные хранилища, которые представляют собой коллекции ChromaDB. Когда нужны прямые ответы вместо необработанных фрагментов, Ollama обрабатывает слой синтеза. Всё работает локально на вашем компьютере.

Разработчик отмечает, что возможность работы с несколькими хранилищами особенно мощная: объединение хранилищ позволяет выявлять закономерности в разных областях, которые было бы сложно заметить вручную. Например, папка с журналами становится партнёром по размышлениям, который помнит, что вы писали, а кодовая база превращается в агента, знающего ваши реальные файлы.

Инструменты MCP

• retrieve — гибридный векторный поиск RRF, который возвращает необработанные фрагменты с оценками достоверности для анализа Claude
• retrieve_bulk — многоплановые запросы за один вызов, полезно при агрегации по типам документов
• ask — ответ, синтезированный Ollama непосредственно из полученного контекста (по умолчанию llama3.1:8b, но можно заменить на любую загруженную модель)
• list_silos, inspect_silo, trigger_reindex — инструменты управления индексацией

Технологический стек

• ChromaDB для векторного хранения
• Ollama для синтеза моделей
• sentence-transformers (all-mpnet-base-v2, с ускорением MPS) для эмбеддингов
• fastmcp для слоя MCP

Разработчик упоминает, что настройка тегирования метаданных для нескольких хранилищ в ChromaDB потребовала нескольких итераций и он открыт для обсуждения архитектуры.

Такой инструмент полезен разработчикам, которые хотят создавать ИИ-агентов, способных ссылаться на локальные файлы и анализировать их без отправки данных во внешние сервисы.