Ferramenta Local RAG Construída com Nemotron Nano 9B v2 e Chamada de Ferramentas vLLM

✍️ OpenClawRadar📅 Publicado: March 27, 2026🔗 Source
Ferramenta Local RAG Construída com Nemotron Nano 9B v2 e Chamada de Ferramentas vLLM
Ad

Detalhes da Implementação Técnica

Um desenvolvedor compartilhou sua abordagem para construir uma ferramenta de pesquisa RAG local-first que roda inteiramente em uma única GPU. Todo o backend está contido em um único arquivo app.py.

Stack e Configuração

A ferramenta usa Nemotron Nano 9B v2 Japanese no vLLM com quantização FP16, rodando em uma GPU RTX 5090. O backend combina FastAPI + SQLite FTS5 + Jinja2. Para chamadas de ferramentas, o desenvolvedor usa os plugins de parser oficiais da NVIDIA, especificamente --tool-call-parser nemotron_json e --tool-parser-plugin, observando que o Nemotron v2 requer plugins de parser personalizados em vez dos parsers integrados do vLLM (que são para v3).

Principais Decisões de Design

O sistema implementa um fluxo de duas etapas extração → execução:

  • Quando uma pergunta é feita, o sistema primeiro extrai palavras-chave bilíngues (inglês e japonês) via LLM
  • Executa busca FTS5 em fontes locais E busca web no DuckDuckGo em paralelo
  • Mostra resultados com caixas de seleção para escolha do usuário
  • Só após a seleção do usuário ele gera a resposta final

Essa abordagem evita despejar 100k+ tokens de contexto e torcer para o modelo entender.

Ad

Desempenho e Recursos

  • Chamadas de Ferramentas: O modelo decide autonomamente quando buscar na web, funcionando surpreendentemente bem na temperatura 0.1
  • Aquecimento do Cache de Prefixo: Em vez de armazenar tudo em cache ao carregar a fonte, o cache KV é aquecido quando o usuário vê a prévia da fonte. Quando eles clicam em Executar, o prefixo já está em cache usando --enable-prefix-caching no vLLM
  • Busca FTS5 Bilíngue: Consulta do usuário → Nemotron extrai palavras-chave em inglês e japonês → consulta FTS5 MATCH com junção OR, eficaz para dados de patentes/pesquisa multilíngue

Números de Desempenho

  • ~80-120 tok/s de saída
  • 8192 tokens máximos
  • Extração de fontes: ~3-5s (extração de palavras-chave + FTS5 + DDG paralelo)
  • Resposta completa com 5 fontes + 3 resultados web: ~50s para uma resposta detalhada na RTX 5090

Configuração e Source

O código-fonte está disponível em https://github.com/soy-tuber/SoyLM. É um aplicativo de arquivo único que pode ser instalado com uv pip install -r requirements.txt. Observe que requer vLLM com os plugins de parser do Nemotron separadamente.

📖 Leia o source completo: r/LocalLLaMA

Ad

👀 See Also

Sistema de Anticorpos: Watchdog Fora de Banda para Agentes OpenClaw
Tools

Sistema de Anticorpos: Watchdog Fora de Banda para Agentes OpenClaw

O Sistema Anticorpo é um watchdog de código aberto que opera em uma máquina separada e monitora agentes OpenClaw via SSH, implementando respostas escalonadas desde a detecção até a recuperação do serviço. Ele foi projetado para sobreviver a falhas que derrubam o agente principal.

OpenClawRadar
HostMyClaudeHTML: Compartilhamento com Um Clique para Artefatos HTML do Claude
Tools

HostMyClaudeHTML: Compartilhamento com Um Clique para Artefatos HTML do Claude

Um desenvolvedor criou hostmyclaudehtml.com, uma ferramenta gratuita que permite compartilhar artefatos HTML gerados pelo Claude como URLs ativos arrastando e soltando o arquivo .html. Não é necessário criar conta para quem faz upload ou para quem visualiza.

OpenClawRadar
Habilidade Tendr: Operações CLI Determinísticas para Gerenciamento de Memória do Agente
Tools

Habilidade Tendr: Operações CLI Determinísticas para Gerenciamento de Memória do Agente

Tendr Skill é uma Habilidade de Agente que separa o raciocínio da execução para memória de longo prazo estruturada, permitindo que agentes decidam o que precisa ser alterado enquanto uma ferramenta CLI lida com operações estruturais de forma determinística. Ela suporta [[wikilinks]] e hierarquias semânticas explícitas entre arquivos.

OpenClawRadar
Prompt de Design do Sistema Claude Engenharia Reversa para Agentes de IA sem Poluição (UI)
Tools

Prompt de Design do Sistema Claude Engenharia Reversa para Agentes de IA sem Poluição (UI)

Prompt de sistema open-source que substitui a saída genérica de modelos SaaS por uma filosofia de design disciplinada: WCAG, CSS Grid real, sistemas baseados em tokens e 14 habilidades processuais.

OpenClawRadar