ローカル書籍翻訳パイプラインは、コンテキストRAGを活用したQwen 32BとMistral 24Bを使用しています

開発者が、8つのPythonスクリプトを使用してPDFファイルをePub形式に変換する完全ローカルの自動化された書籍翻訳パイプラインを作成しました。このシステムは、マルチステップのワークフローを通じて、文脈の喪失やフォーマットの問題といった一般的な翻訳課題に対処します。

ワークフローの詳細

このパイプラインは、プロセス全体を処理する8つのスクリプトで構成されています：

• PDF抽出： Markerを使用してPDFからコンテンツを抽出し、太字テキスト、章、画像などのフォーマット要素を保持します
• テキスト分割： 抽出されたテキストを管理可能なチャンクに分割します
• 文脈作成： 翻訳前に、書籍全体からの抜粋をQwen 32Bに送信し、キャラクター、トーン、雰囲気を含む「スーパーバイブル」（グローバル用語集）を生成します
• 翻訳： Qwen 32Bが各テキストセグメントを翻訳し、一貫性を保つためにスーパーバイブルを参照します
• スタイル編集： Mistral 24Bが編集者として機能し、Qwenの翻訳をレビューして完璧な文学的スタイルに書き直します
• 組み立て： 最終スクリプトがすべての翻訳セグメントを再組み立てし、画像を再挿入し、Pandocを使用して完成されたePubファイルを出力します

自動化機能

このシステムには、指定されたフォルダを監視するスクリプトが含まれています。ユーザーはPDFをこのフォルダにドロップするだけで、パイプラインが自動的に処理します。数時間後、システムは翻訳されたePubと処理時間を示すレシートの両方を出力します。

開発者は、結果は驚くほど効果的であるが100%完璧ではないと述べ、いくつかの改善案があると述べています。システム全体は外部サービスを必要とせず、個人のコンピュータ上でローカルに実行されます。