ReasonDB: Base de Datos de Documentos de Código Abierto que Utiliza Navegación por Árbol Guiada por LLM en Lugar de Búsqueda Vectorial

Qué hace ReasonDB

ReasonDB es una base de datos de documentos de código abierto que adopta un enfoque diferente para la recuperación de conocimiento al preservar la estructura del documento como una jerarquía (encabezados → secciones → párrafos) y permitir que el LLM navegue por ese árbol para encontrar respuestas. Esto aborda el problema común donde los fallos de recuperación en bases de datos vectoriales y pipelines RAG se convierten en cajas negras de depuración.

Cómo funciona

Proceso de ingesta: Los documentos se convierten a markdown, se fragmentan por estructura, se construyen en un árbol y cada nodo es resumido por un LLM (de abajo hacia arriba).

Proceso de consulta: BM25 reduce los nodos candidatos → tree-grep filtra por estructura → el LLM clasifica por resúmenes → el recorrido de búsqueda por haz sobre el árbol extrae la respuesta. El LLM visita aproximadamente 25 nodos de entre millones en lugar de buscar en un índice vectorial plano.

Lenguaje de consulta y pila tecnológica

ReasonDB utiliza RQL, un lenguaje de consulta similar a SQL:

SELECT * FROM contracts SEARCH 'payment terms' REASON 'What are the late payment penalties?' LIMIT 5;

Donde SEARCH = BM25 y REASON = recorrido de árbol guiado por LLM.

La pila está construida en Rust usando redb, tantivy, axum y tokio. Es un binario único que funciona con OpenAI, Anthropic, Gemini, Cohere y APIs compatibles (incluyendo endpoints locales o compatibles con OpenAI).

Aplicaciones prácticas

Este enfoque es particularmente útil para desarrolladores que han estado luchando con la calidad de recuperación de RAG o quieren probar la recuperación basada en estructura en lugar de la búsqueda vectorial pura. La herramienta fue construida después de 3 años de experiencia con recuperación de conocimiento en Brainfish, donde las bases de datos vectoriales, bases de datos de grafos y pipelines RAG personalizados presentaban consistentemente los mismos desafíos de depuración.