Pipeline de Tradução de Livros Locais Utiliza Qwen 32B e Mistral 24B com RAG Contextual

Um desenvolvedor criou um pipeline de tradução de livros totalmente local e automatizado que converte arquivos PDF para o formato ePub usando oito scripts Python. O sistema aborda problemas comuns de tradução, como perda de contexto e problemas de formatação, por meio de um fluxo de trabalho em várias etapas.

Detalhes do Fluxo de Trabalho

O pipeline consiste em oito scripts que lidam com todo o processo:

• Extração de PDF: Usa o Marker para extrair conteúdo de PDFs, preservando elementos de formatação como texto em negrito, capítulos e imagens
• Segmentação de Texto: Divide o texto extraído em partes gerenciáveis
• Criação de Contexto: Antes da tradução, envia trechos de todo o livro para o Qwen 32B para gerar uma "Super Bíblia" - um glossário global contendo personagens, tom e atmosfera
• Tradução: O Qwen 32B traduz cada segmento de texto enquanto consulta a Super Bíblia para manter a consistência
• Edição de Estilo: O Mistral 24B atua como editor, revisando as traduções do Qwen e reescrevendo-as para um estilo literário perfeito
• Montagem: Um script final remonta todos os segmentos traduzidos, reinsere as imagens e usa o Pandoc para gerar um arquivo ePub polido

Recursos de Automação

O sistema inclui um script de monitoramento que observa uma pasta designada. Os usuários simplesmente soltam um PDF nesta pasta, e o pipeline processa automaticamente. Após várias horas, o sistema gera tanto o ePub traduzido quanto um recibo mostrando o tempo de processamento.

O desenvolvedor observa que os resultados são surpreendentemente eficazes, embora não sejam 100% perfeitos, e menciona ter várias ideias de melhorias. Todo o sistema funciona localmente em um computador pessoal sem exigir serviços externos.