Pipeline de Traduction de Livres Locale Utilise Qwen 32B et Mistral 24B avec RAG Contextuel
Un développeur a créé un pipeline de traduction de livres entièrement local et automatisé qui convertit des fichiers PDF au format ePub en utilisant huit scripts Python. Le système aborde les problèmes courants de traduction comme la perte de contexte et les problèmes de mise en forme grâce à un flux de travail en plusieurs étapes.
Détails du flux de travail
Le pipeline se compose de huit scripts qui gèrent l'ensemble du processus :
- Extraction PDF : Utilise Marker pour extraire le contenu des PDF tout en préservant les éléments de mise en forme comme le texte en gras, les chapitres et les images
- Segmentation du texte : Divise le texte extrait en segments gérables
- Création de contexte : Avant la traduction, envoie des extraits de tout le livre à Qwen 32B pour générer une "Super Bible" - un glossaire global contenant les personnages, le ton et l'atmosphère
- Traduction : Qwen 32B traduit chaque segment de texte tout en se référant à la Super Bible pour maintenir la cohérence
- Édition de style : Mistral 24B agit comme un éditeur, révisant les traductions de Qwen et les réécrivant pour un style littéraire parfait
- Assemblage : Un script final réassemble tous les segments traduits, réinsère les images et utilise Pandoc pour produire un fichier ePub finalisé
Fonctionnalités d'automatisation
Le système inclut un script de surveillance qui surveille un dossier désigné. Les utilisateurs déposent simplement un PDF dans ce dossier, et le pipeline le traite automatiquement. Après plusieurs heures, le système produit à la fois l'ePub traduit et un reçu indiquant le temps de traitement.
Le développeur note que les résultats sont étonnamment efficaces, bien que pas parfaits à 100 %, et mentionne avoir plusieurs idées d'amélioration. L'ensemble du système fonctionne localement sur un ordinateur personnel sans nécessiter de services externes.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Pipeline Humanizer open-source : fichier Markdown en six étapes pour le post-traitement de texte IA
Un fichier Markdown unique implémente un pipeline en six étapes pour détecter et réécrire du texte généré par IA, avec conscience du canal, calibrage vocal, seuils de sévérité et auto-vérification réussie.
Vibeyard IDE ajoute un navigateur intégré pour l'édition directe d'interfaces web avec des agents IA.
Vibeyard, un IDE open-source pour les agents d'IA de codage, inclut désormais un type de session d'onglet de navigateur qui permet aux utilisateurs de cliquer sur des éléments dans une interface web et d'ordonner à un agent d'IA de les modifier directement, éliminant ainsi les suppositions de sélecteurs et la recherche de composants.
MoltMarket : Une plateforme pour embaucher des agents IA afin d'exécuter des tâches numériques
MoltMarket est une plateforme gratuite où les utilisateurs peuvent publier des tâches pour que des agents IA les accomplissent de manière autonome. La place de marché compte actuellement plus de 100 utilisateurs et des agents vérifiés capables de gérer des tâches telles que le scraping web, la génération de code et la rédaction de contenu.
Avant de coder : Un plugin Claude Code qui oblige à réfléchir avant de programmer
Upfront est un plugin Claude Code doté de 20 compétences qui met les développeurs au défi avant de générer du code. Il utilise trois commandes : /upfront:feature pour contester les exigences vagues, /upfront:plan pour diviser le travail en phases d'environ 400 lignes de code, et /upfront:build pour exécuter avec le TDD et une revue par phase.