Pipeline de Tradução de Livros Locais Utiliza Qwen 32B e Mistral 24B com RAG Contextual

✍️ OpenClawRadar📅 Publicado: April 1, 2026🔗 Source
Pipeline de Tradução de Livros Locais Utiliza Qwen 32B e Mistral 24B com RAG Contextual
Ad

Um desenvolvedor criou um pipeline de tradução de livros totalmente local e automatizado que converte arquivos PDF para o formato ePub usando oito scripts Python. O sistema aborda problemas comuns de tradução, como perda de contexto e problemas de formatação, por meio de um fluxo de trabalho em várias etapas.

Detalhes do Fluxo de Trabalho

O pipeline consiste em oito scripts que lidam com todo o processo:

  • Extração de PDF: Usa o Marker para extrair conteúdo de PDFs, preservando elementos de formatação como texto em negrito, capítulos e imagens
  • Segmentação de Texto: Divide o texto extraído em partes gerenciáveis
  • Criação de Contexto: Antes da tradução, envia trechos de todo o livro para o Qwen 32B para gerar uma "Super Bíblia" - um glossário global contendo personagens, tom e atmosfera
  • Tradução: O Qwen 32B traduz cada segmento de texto enquanto consulta a Super Bíblia para manter a consistência
  • Edição de Estilo: O Mistral 24B atua como editor, revisando as traduções do Qwen e reescrevendo-as para um estilo literário perfeito
  • Montagem: Um script final remonta todos os segmentos traduzidos, reinsere as imagens e usa o Pandoc para gerar um arquivo ePub polido
Ad

Recursos de Automação

O sistema inclui um script de monitoramento que observa uma pasta designada. Os usuários simplesmente soltam um PDF nesta pasta, e o pipeline processa automaticamente. Após várias horas, o sistema gera tanto o ePub traduzido quanto um recibo mostrando o tempo de processamento.

O desenvolvedor observa que os resultados são surpreendentemente eficazes, embora não sejam 100% perfeitos, e menciona ter várias ideias de melhorias. Todo o sistema funciona localmente em um computador pessoal sem exigir serviços externos.

📖 Leia a fonte completa: r/LocalLLaMA

Ad

👀 See Also