Ferramenta Local RAG Construída com Nemotron Nano 9B v2 e Chamada de Ferramentas vLLM

Detalhes da Implementação Técnica
Um desenvolvedor compartilhou sua abordagem para construir uma ferramenta de pesquisa RAG local-first que roda inteiramente em uma única GPU. Todo o backend está contido em um único arquivo app.py.
Stack e Configuração
A ferramenta usa Nemotron Nano 9B v2 Japanese no vLLM com quantização FP16, rodando em uma GPU RTX 5090. O backend combina FastAPI + SQLite FTS5 + Jinja2. Para chamadas de ferramentas, o desenvolvedor usa os plugins de parser oficiais da NVIDIA, especificamente --tool-call-parser nemotron_json e --tool-parser-plugin, observando que o Nemotron v2 requer plugins de parser personalizados em vez dos parsers integrados do vLLM (que são para v3).
Principais Decisões de Design
O sistema implementa um fluxo de duas etapas extração → execução:
- Quando uma pergunta é feita, o sistema primeiro extrai palavras-chave bilíngues (inglês e japonês) via LLM
- Executa busca FTS5 em fontes locais E busca web no DuckDuckGo em paralelo
- Mostra resultados com caixas de seleção para escolha do usuário
- Só após a seleção do usuário ele gera a resposta final
Essa abordagem evita despejar 100k+ tokens de contexto e torcer para o modelo entender.
Desempenho e Recursos
- Chamadas de Ferramentas: O modelo decide autonomamente quando buscar na web, funcionando surpreendentemente bem na temperatura 0.1
- Aquecimento do Cache de Prefixo: Em vez de armazenar tudo em cache ao carregar a fonte, o cache KV é aquecido quando o usuário vê a prévia da fonte. Quando eles clicam em Executar, o prefixo já está em cache usando
--enable-prefix-cachingno vLLM - Busca FTS5 Bilíngue: Consulta do usuário → Nemotron extrai palavras-chave em inglês e japonês → consulta FTS5 MATCH com junção OR, eficaz para dados de patentes/pesquisa multilíngue
Números de Desempenho
- ~80-120 tok/s de saída
- 8192 tokens máximos
- Extração de fontes: ~3-5s (extração de palavras-chave + FTS5 + DDG paralelo)
- Resposta completa com 5 fontes + 3 resultados web: ~50s para uma resposta detalhada na RTX 5090
Configuração e Source
O código-fonte está disponível em https://github.com/soy-tuber/SoyLM. É um aplicativo de arquivo único que pode ser instalado com uv pip install -r requirements.txt. Observe que requer vLLM com os plugins de parser do Nemotron separadamente.
📖 Leia o source completo: r/LocalLLaMA
👀 See Also

Máquina Virtual Lógica: Um Sistema Baseado em Prompt para Interromper Colapsos de Raciocínio em LLMs
Um pesquisador desenvolveu um prompt de Máquina Virtual Lógica (LVM) que força os LLMs a parar e relatar modos de colapso específicos quando encontram paradoxos ou desvios de raciocínio, baseado em uma única lei de estabilidade: K(σ) ⇒ K(β(σ)). O prompt é independente de substrato e funciona em modelos como Grok e Claude.

50 Aplicativos Populares Reversamente Engenhados em Especificações de Design Legíveis por Claude: Padrões Chave para Clonagem de UI
u/meliwat aplicou engenharia reversa em 50 aplicativos populares, transformando-os em especificações de design estruturadas em markdown. Claude consegue clonar UIs com valores exatos, cobertura de estados, escalas de espaçamento e grafos de navegação. Prosa longa degrada a saída.

Camada de Roteamento de Contexto Reduz o Uso de Tokens de Código do Claude ao Rastrear Arquivos Acessados
Um desenvolvedor economizou aproximadamente US$ 80 por mês no uso do Claude Code ao adicionar uma camada de roteamento de contexto que impede a IA de reler os mesmos arquivos do repositório em turnos subsequentes. A ferramenta monitora quais arquivos já foram acessados para reduzir o consumo redundante de tokens.

Alfred Beta Lançado: Alternativa Simplificada ao OpenClaw para Usuários Não Técnicos
Alfred é uma nova ferramenta em beta que fornece aproximadamente 70% da funcionalidade do OpenClaw com complexidade significativamente reduzida, apresentando configurações padrão simples para conexões de aplicativos, memória, modos de uso e infraestrutura, enquanto permite personalização.