로컬 도서 번역 파이프라인, Qwen 32B와 Mistral 24B를 활용한 문맥 기반 RAG 적용

한 개발자가 여덟 개의 파이썬 스크립트를 사용해 PDF 파일을 ePub 형식으로 변환하는 완전 로컬 자동화 도서 번역 파이프라인을 만들었습니다. 이 시스템은 다단계 워크플로우를 통해 문맥 손실과 형식 문제 같은 일반적인 번역 문제를 해결합니다.

워크플로우 상세

파이프라인은 전체 과정을 처리하는 여덟 개의 스크립트로 구성됩니다:

• PDF 추출: 굵은 텍스트, 장, 이미지 같은 형식 요소를 보존하면서 Marker를 사용해 PDF에서 콘텐츠 추출
• 텍스트 분할: 추출된 텍스트를 관리 가능한 청크로 분할
• 문맥 생성: 번역 전에 책 전체에서 발췌한 내용을 Qwen 32B로 보내 캐릭터, 어조, 분위기를 포함한 "슈퍼 바이블"(글로벌 용어집) 생성
• 번역: Qwen 32B가 슈퍼 바이블을 참조하며 각 텍스트 세그먼트 번역하여 일관성 유지
• 스타일 편집: Mistral 24B가 편집자 역할을 하여 Qwen의 번역을 검토하고 완벽한 문학적 스타일로 재작성
• 조립: 최종 스크립트가 모든 번역된 세그먼트를 재조립하고 이미지를 재삽입하며 Pandoc을 사용해 정제된 ePub 파일 출력

자동화 기능

이 시스템은 지정된 폴더를 감시하는 모니터링 스크립트를 포함합니다. 사용자는 단순히 PDF를 이 폴더에 드롭하면 파이프라인이 자동으로 처리합니다. 몇 시간 후 시스템은 번역된 ePub과 처리 시간을 보여주는 영수증을 모두 출력합니다.

개발자는 결과가 놀랍도록 효과적이지만 100% 완벽하지는 않으며, 여러 개선 아이디어가 있다고 언급했습니다. 전체 시스템은 외부 서비스 없이 개인 컴퓨터에서 로컬로 실행됩니다.