Herramienta RAG Local Construida con Nemotron Nano 9B v2 y Llamadas de Herramienta vLLM

Detalles de Implementación Técnica
Un desarrollador ha compartido su enfoque para construir una herramienta de investigación RAG local-first que funciona completamente en una sola GPU. Todo el backend está contenido en un solo archivo app.py.
Stack y Configuración
La herramienta utiliza Nemotron Nano 9B v2 Japanese en vLLM con cuantización FP16, ejecutándose en una GPU RTX 5090. El backend combina FastAPI + SQLite FTS5 + Jinja2. Para las llamadas a herramientas, el desarrollador utiliza los complementos de análisis oficiales de NVIDIA, específicamente --tool-call-parser nemotron_json y --tool-parser-plugin, señalando que Nemotron v2 requiere complementos de análisis personalizados en lugar de los analizadores integrados de vLLM (que son para v3).
Decisiones de Diseño Clave
El sistema implementa un flujo de dos pasos extraer → ejecutar:
- Cuando se hace una pregunta, el sistema primero extrae palabras clave bilingües (inglés y japonés) mediante LLM
- Ejecuta búsqueda FTS5 en fuentes locales Y búsqueda web DuckDuckGo en paralelo
- Muestra resultados con casillas de verificación para selección del usuario
- Solo después de la selección del usuario genera la respuesta final
Este enfoque evita volcar más de 100k tokens de contexto y esperar que el modelo lo resuelva.
Rendimiento y Características
- Llamadas a Herramientas: El modelo decide autónomamente cuándo buscar en la web, funcionando sorprendentemente bien a temperatura 0.1
- Calentamiento de Caché de Prefijos: En lugar de almacenar todo en caché al cargar la fuente, la caché KV se calienta cuando el usuario ve la vista previa de la fuente. Para cuando hacen clic en Ejecutar, el prefijo ya está en caché usando
--enable-prefix-cachingen vLLM - Búsqueda FTS5 Bilingüe: Consulta del usuario → Nemotron extrae palabras clave en inglés y japonés → consulta MATCH FTS5 unida con OR, efectiva para datos de patentes/investigación multilingües
Números de Rendimiento
- ~80-120 tok/s de salida
- 8192 tokens máximos
- Extracción de fuentes: ~3-5s (extracción de palabras clave + FTS5 + DDG en paralelo)
- Respuesta completa con 5 fuentes + 3 resultados web: ~50s para una respuesta detallada en RTX 5090
Configuración y Source
El código fuente está disponible en https://github.com/soy-tuber/SoyLM. Es una aplicación de un solo archivo que se puede instalar con uv pip install -r requirements.txt. Nota que requiere vLLM con los complementos de análisis Nemotron por separado.
📖 Read the full source: r/LocalLLaMA
👀 Ver también

El usuario de Claude Code construye un complemento nvm para capturar el contexto de resolución de problemas.
Un desarrollador creó un complemento de Claude llamado nvm (memoria no volátil) que convierte el historial de sesiones de Claude en tarjetas de markdown que documentan decisiones de resolución de problemas e ideas reutilizables. La herramienta aborda el problema de perder el rastro de cómo se resolvieron los problemas al usar asistentes de codificación con IA.

Zot: Un agente de codificación ligero para terminal ahora compatible con Claude Opus 4.8
Zot es un agente de codificación minimalista para terminal, distribuido como un único binario estático de Go sin dependencias de runtime ni Docker. Ahora soporta Claude Opus 4.8 junto con docenas de otros modelos.

TrustLog Dynamics: Daemon de Python Usa Matemática de Bonos para Eliminar Agentes de IA Descontrolados
TrustLog Dynamics es un demonio de Python que monitorea los costos de API de agentes de IA en tiempo real y termina procesos utilizando dos métodos de finanzas cuantitativas: detección de convexidad para costos acelerados y detección de varianza cero para bucles mecánicos.

El complemento cc-soul añade memoria persistente y personalidades adaptativas a OpenClaw.
El complemento cc-soul para OpenClaw proporciona almacenamiento de memoria permanente entre sesiones, 10 personalidades de cambio automático y aprendizaje a partir de correcciones. La instalación requiere un solo comando sin configuración.