llmLibrarian: Lokale RAG-Engine mit MCP-Integration für dateibasierte KI-Suche

Was das ist

llmLibrarian ist eine lokale RAG-Engine (Retrieval-Augmented Generation), die Abruffähigkeiten über das Model Context Protocol (MCP) verfügbar macht. Sie ermöglicht es Ihnen, Ordner in Silos (ChromaDB-Sammlungen) zu indizieren und diese dann von jedem MCP-Client – einschließlich Claude – abzufragen, um fundierte, zitierte Antworten zu erhalten.

Wichtige Funktionen und Architektur

Das Tool indiziert Ordner in Silos, bei denen es sich um ChromaDB-Sammlungen handelt. Wenn Sie direkte Antworten anstelle von Rohdatenblöcken wünschen, übernimmt Ollama die Syntheseschicht. Alles läuft lokal auf Ihrem Computer.

Der Entwickler hebt die Multi-Silo-Fähigkeit als besonders leistungsstark hervor: Die Kombination von Silos ermöglicht es, Muster über Domänen hinweg sichtbar zu machen, die manuell schwer zu erkennen wären. Beispielsweise wird ein Journal-Ordner zu einem Denkpartner, der sich merkt, was Sie geschrieben haben, und eine Codebasis wird zu einem Agenten, der Ihre tatsächlichen Dateien kennt.

Verfügbare MCP-Tools

• retrieve – hybride RRF-Vektorsuche, die Rohdatenblöcke mit Konfidenzwerten zurückgibt, über die Claude nachdenken kann
• retrieve_bulk – Multi-Angle-Abfragen in einem Aufruf, nützlich beim Aggregieren über Dokumenttypen hinweg
• ask – von Ollama synthetisierte Antwort direkt aus dem abgerufenen Kontext (standardmäßig llama3.1:8b, aber Sie können jedes Modell verwenden, das Sie heruntergeladen haben)
• list_silos, inspect_silo, trigger_reindex – Tools zur Indexverwaltung

Technischer Stack

• ChromaDB für Vektorspeicherung
• Ollama für Modellsynthese
• sentence-transformers (all-mpnet-base-v2, MPS-beschleunigt) für Embeddings
• fastmcp für die MCP-Schicht

Der Entwickler erwähnt, dass das Multi-Silo-Metadaten-Tagging in ChromaDB mehrere Iterationen benötigte, um richtig zu funktionieren, und ist offen für Diskussionen über die Architektur.

Diese Art von Tool ist nützlich für Entwickler, die KI-Agenten erstellen möchten, die auf ihre lokalen Dateien verweisen und darüber nachdenken können, ohne Daten an externe Dienste zu senden.