ReasonDB: Open-Source-Dokumentendatenbank mit LLM-gesteuerter Baumnavigation anstelle von Vektorsuche

Was ReasonDB macht

ReasonDB ist eine Open-Source-Dokumentendatenbank, die einen anderen Ansatz für die Wissensabfrage verfolgt, indem sie die Dokumentenstruktur als Hierarchie beibehält (Überschriften → Abschnitte → Absätze) und es dem LLM ermöglicht, diesen Baum zu durchlaufen, um Antworten zu finden. Dies behebt das häufige Problem, bei dem Abfragefehler in Vektor-DBs und RAG-Pipelines zu undurchsichtigen Debugging-Blackboxen werden.

Wie es funktioniert

Erfassungsprozess: Dokumente werden in Markdown konvertiert, nach Struktur segmentiert, zu einem Baum aufgebaut und jeder Knoten wird von einem LLM zusammengefasst (von unten nach oben).

Abfrageprozess: BM25 reduziert Kandidatenknoten → tree-grep filtert nach Struktur → LLM bewertet nach Zusammenfassungen → Beam-Search-Traversierung über den Baum extrahiert die Antwort. Das LLM besucht etwa 25 Knoten von Millionen, anstatt einen flachen Vektorindex zu durchsuchen.

Abfragesprache und Stack

ReasonDB verwendet RQL, eine SQL-ähnliche Abfragesprache:

SELECT * FROM contracts SEARCH 'payment terms' REASON 'What are the late payment penalties?' LIMIT 5;

Wobei SEARCH = BM25 und REASON = LLM-gesteuerte Baumtraversierung.

Der Stack ist in Rust mit redb, tantivy, axum und tokio aufgebaut. Es handelt sich um eine einzelne Binärdatei, die mit OpenAI, Anthropic, Gemini, Cohere und kompatiblen APIs (einschließlich lokaler oder OpenAI-kompatibler Endpunkte) funktioniert.

Praktische Anwendungen

Dieser Ansatz ist besonders nützlich für Entwickler, die mit der RAG-Abfragequalität kämpfen oder strukturierte Abfrage anstelle reiner Vektorsuche ausprobieren möchten. Das Tool wurde nach 3 Jahren Erfahrung mit Wissensabfrage bei Brainfish entwickelt, wo Vektor-DBs, Graph-DBs und benutzerdefinierte RAG-Pipelines stets dieselben Debugging-Herausforderungen darstellten.