llmLibrarian: Motor de RAG Local con Integración MCP para Búsqueda de IA Basada en Archivos

Qué es Esto

llmLibrarian es un motor RAG (Generación Aumentada por Recuperación) local que expone capacidades de recuperación a través del Model Context Protocol (MCP). Te permite indexar carpetas en silos (colecciones de ChromaDB), luego consultarlos desde cualquier cliente MCP—incluyendo Claude—para obtener respuestas fundamentadas y citadas.

Características Clave y Arquitectura

La herramienta indexa carpetas en silos, que son colecciones de ChromaDB. Cuando quieres respuestas directas en lugar de fragmentos crudos, Ollama maneja la capa de síntesis. Todo se ejecuta localmente en tu máquina.

El desarrollador destaca la capacidad multi-silo como particularmente poderosa: combinar silos permite que surjan patrones entre dominios que serían difíciles de detectar manualmente. Por ejemplo, una carpeta de diario se convierte en un compañero de pensamiento que recuerda lo que has escrito, y una base de código se convierte en un agente que conoce tus archivos reales.

Herramientas MCP Expuestas

• retrieve — búsqueda vectorial híbrida RRF que devuelve fragmentos crudos con puntuaciones de confianza para que Claude razone sobre ellos
• retrieve_bulk — consultas multi-ángulo en una llamada, útil al agregar entre tipos de documentos
• ask — respuesta sintetizada por Ollama directamente del contexto recuperado (por defecto usa llama3.1:8b, pero puedes cambiar al modelo que tengas descargado)
• list_silos, inspect_silo, trigger_reindex — herramientas de gestión de índices

Pila Técnica

• ChromaDB para almacenamiento vectorial
• Ollama para síntesis de modelos
• sentence-transformers (all-mpnet-base-v2, acelerado por MPS) para incrustaciones
• fastmcp para la capa MCP

El desarrollador menciona que el etiquetado de metadatos multi-silo en ChromaDB tomó varias iteraciones para lograrlo correctamente y está abierto a discutir la arquitectura.

Este tipo de herramienta es útil para desarrolladores que quieren construir agentes de IA que puedan referenciar y razonar sobre sus archivos locales sin enviar datos a servicios externos.