Canal de Traducción de Libros Local Utiliza Qwen 32B y Mistral 24B con RAG Contextual

Un desarrollador ha creado una canalización de traducción de libros completamente local y automatizada que convierte archivos PDF a formato ePub utilizando ocho scripts de Python. El sistema aborda problemas comunes de traducción como la pérdida de contexto y problemas de formato mediante un flujo de trabajo de múltiples pasos.

Detalles del Flujo de Trabajo

La canalización consta de ocho scripts que manejan todo el proceso:

• Extracción de PDF: Utiliza Marker para extraer contenido de PDFs mientras preserva elementos de formato como texto en negrita, capítulos e imágenes
• Segmentación de Texto: Divide el texto extraído en fragmentos manejables
• Creación de Contexto: Antes de la traducción, envía extractos de todo el libro a Qwen 32B para generar una "Super Biblia" - un glosario global que contiene personajes, tono y atmósfera
• Traducción: Qwen 32B traduce cada segmento de texto mientras referencia la Super Biblia para mantener la consistencia
• Edición de Estilo: Mistral 24B actúa como editor, revisando las traducciones de Qwen y reescribiéndolas para un estilo literario perfecto
• Ensamblaje: Un script final reensambla todos los segmentos traducidos, reinserta las imágenes y utiliza Pandoc para generar un archivo ePub pulido

Características de Automatización

El sistema incluye un script de monitoreo que observa una carpeta designada. Los usuarios simplemente colocan un PDF en esta carpeta, y la canalización lo procesa automáticamente. Después de varias horas, el sistema genera tanto el ePub traducido como un recibo que muestra el tiempo de procesamiento.

El desarrollador señala que los resultados son sorprendentemente efectivos, aunque no 100% perfectos, y menciona tener varias ideas de mejora. Todo el sistema se ejecuta localmente en una computadora personal sin requerir servicios externos.