llmLibrarian: Lokale RAG-Engine mit MCP-Integration für dateibasierte KI-Suche
Was das ist
llmLibrarian ist eine lokale RAG-Engine (Retrieval-Augmented Generation), die Abruffähigkeiten über das Model Context Protocol (MCP) verfügbar macht. Sie ermöglicht es Ihnen, Ordner in Silos (ChromaDB-Sammlungen) zu indizieren und diese dann von jedem MCP-Client – einschließlich Claude – abzufragen, um fundierte, zitierte Antworten zu erhalten.
Wichtige Funktionen und Architektur
Das Tool indiziert Ordner in Silos, bei denen es sich um ChromaDB-Sammlungen handelt. Wenn Sie direkte Antworten anstelle von Rohdatenblöcken wünschen, übernimmt Ollama die Syntheseschicht. Alles läuft lokal auf Ihrem Computer.
Der Entwickler hebt die Multi-Silo-Fähigkeit als besonders leistungsstark hervor: Die Kombination von Silos ermöglicht es, Muster über Domänen hinweg sichtbar zu machen, die manuell schwer zu erkennen wären. Beispielsweise wird ein Journal-Ordner zu einem Denkpartner, der sich merkt, was Sie geschrieben haben, und eine Codebasis wird zu einem Agenten, der Ihre tatsächlichen Dateien kennt.
Verfügbare MCP-Tools
retrieve– hybride RRF-Vektorsuche, die Rohdatenblöcke mit Konfidenzwerten zurückgibt, über die Claude nachdenken kannretrieve_bulk– Multi-Angle-Abfragen in einem Aufruf, nützlich beim Aggregieren über Dokumenttypen hinwegask– von Ollama synthetisierte Antwort direkt aus dem abgerufenen Kontext (standardmäßig llama3.1:8b, aber Sie können jedes Modell verwenden, das Sie heruntergeladen haben)list_silos,inspect_silo,trigger_reindex– Tools zur Indexverwaltung
Technischer Stack
- ChromaDB für Vektorspeicherung
- Ollama für Modellsynthese
- sentence-transformers (all-mpnet-base-v2, MPS-beschleunigt) für Embeddings
- fastmcp für die MCP-Schicht
Der Entwickler erwähnt, dass das Multi-Silo-Metadaten-Tagging in ChromaDB mehrere Iterationen benötigte, um richtig zu funktionieren, und ist offen für Diskussionen über die Architektur.
Diese Art von Tool ist nützlich für Entwickler, die KI-Agenten erstellen möchten, die auf ihre lokalen Dateien verweisen und darüber nachdenken können, ohne Daten an externe Dienste zu senden.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
llm-use – Ein Open-Source-Rahmenwerk zum Routing und Orchestrieren von Multi-LLM-Agenten-Workflows.
llm-use revolutioniert die Automatisierung mit seinem Open-Source-Framework, das darauf abzielt, Multi-LLM-Agenten-Workflows effizient zu steuern und zu orchestrieren. Entdecken Sie die Auswirkungen auf KI-Operationen.
Mehr-Agenten-Karriere-Mentor entwickelt mit Ollama und MCP für lokale KI
Ein Entwickler hat ein 5-Agenten-KI-System gebaut, das Lebensläufe analysiert und Karriere-Intelligenzberichte mit Ollama und llama3 lokal generiert. Das System verkettet Agentenausgaben, sodass jeder auf dem vorherigen Kontext aufbaut, wobei MCP die Tool-Integration übernimmt.
Claude AI Opus deaktiviert die automatische Helligkeitsreduzierung von Intel DPST durch Bearbeiten der Registrierung im Schlüssel 0002
Ein Reddit-Nutzer automatisierte die Behebung der Intel Display Power Saving Technology-Dimmung, indem er Claude AI Opus die Registry bearbeiten ließ – es fand den korrekten FeatureTestControl-Wert und den richtigen Schlüssel.
LLMs geben trotz expliziter Anweisungen strukturierte Ausgaben preis
Ein Entwickler, der ein Tool erstellt, das parallele API-Aufrufe an Claude durchführt und strukturierte Ausgaben analysiert, stellte fest, dass Validierungsmodelle gelegentlich Erklärungstext vor korrigierten Inhalten ausgeben, obwohl explizite Anweisungen bestehen, nur korrigierten Text zurückzugeben. Die Lösung umfasste eine Präzisierung der Eingabeaufforderung sowie eine defensive Filterfunktion, die vor der Analyse ausgeführt wird.