Pipeline de Traduction de Livres Locale Utilise Qwen 32B et Mistral 24B avec RAG Contextuel

Un développeur a créé un pipeline de traduction de livres entièrement local et automatisé qui convertit des fichiers PDF au format ePub en utilisant huit scripts Python. Le système aborde les problèmes courants de traduction comme la perte de contexte et les problèmes de mise en forme grâce à un flux de travail en plusieurs étapes.

Détails du flux de travail

Le pipeline se compose de huit scripts qui gèrent l'ensemble du processus :

• Extraction PDF : Utilise Marker pour extraire le contenu des PDF tout en préservant les éléments de mise en forme comme le texte en gras, les chapitres et les images
• Segmentation du texte : Divise le texte extrait en segments gérables
• Création de contexte : Avant la traduction, envoie des extraits de tout le livre à Qwen 32B pour générer une "Super Bible" - un glossaire global contenant les personnages, le ton et l'atmosphère
• Traduction : Qwen 32B traduit chaque segment de texte tout en se référant à la Super Bible pour maintenir la cohérence
• Édition de style : Mistral 24B agit comme un éditeur, révisant les traductions de Qwen et les réécrivant pour un style littéraire parfait
• Assemblage : Un script final réassemble tous les segments traduits, réinsère les images et utilise Pandoc pour produire un fichier ePub finalisé

Fonctionnalités d'automatisation

Le système inclut un script de surveillance qui surveille un dossier désigné. Les utilisateurs déposent simplement un PDF dans ce dossier, et le pipeline le traite automatiquement. Après plusieurs heures, le système produit à la fois l'ePub traduit et un reçu indiquant le temps de traitement.

Le développeur note que les résultats sont étonnamment efficaces, bien que pas parfaits à 100 %, et mentionne avoir plusieurs idées d'amélioration. L'ensemble du système fonctionne localement sur un ordinateur personnel sans nécessiter de services externes.