Локальный конвейер перевода книг использует модели Qwen 32B и Mistral 24B с контекстуальной системой RAG
Разработчик создал полностью локальный автоматизированный конвейер перевода книг, который преобразует файлы PDF в формат ePub с использованием восьми скриптов на Python. Система решает распространённые проблемы перевода, такие как потеря контекста и проблемы с форматированием, через многоэтапный рабочий процесс.
Детали рабочего процесса
Конвейер состоит из восьми скриптов, которые обрабатывают весь процесс:
- Извлечение PDF: Использует Marker для извлечения содержимого из PDF с сохранением элементов форматирования, таких как жирный текст, главы и изображения
- Сегментация текста: Разделяет извлечённый текст на управляемые фрагменты
- Создание контекста: Перед переводом отправляет отрывки из всей книги в Qwen 32B для создания «Супер-Библии» — глобального глоссария, содержащего персонажей, тон и атмосферу
- Перевод: Qwen 32B переводит каждый текстовый сегмент, обращаясь к Супер-Библии для поддержания согласованности
- Стилевая правка: Mistral 24B выступает в роли редактора, проверяя переводы Qwen и переписывая их для идеального литературного стиля
- Сборка: Финальный скрипт собирает все переведённые сегменты, вставляет обратно изображения и использует Pandoc для вывода отполированного файла ePub
Функции автоматизации
Система включает скрипт мониторинга, который отслеживает назначенную папку. Пользователи просто помещают PDF в эту папку, и конвейер автоматически обрабатывает его. Через несколько часов система выводит как переведённый ePub, так и квитанцию с временем обработки.
Разработчик отмечает, что результаты удивительно эффективны, хотя и не на 100% идеальны, и упоминает несколько идей для улучшения. Вся система работает локально на персональном компьютере без необходимости внешних сервисов.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Claude Academy: Бесплатный учебный курс по программированию, работающий внутри Claude Desktop
Разработчик создал Claude Academy — бесплатный учебный курс по программированию, который полностью работает во вкладке Code в Claude Desktop. Система использует три команды для проведения 64 структурированных уроков по основам веб-разработки, с отслеживанием прогресса и созданием реальных проектов.
TailClaude: Открытый веб-интерфейс для доступа к сессиям кода Claude с мобильных устройств и браузера
TailClaude — это открытый веб-интерфейс, который позволяет получить доступ к сессиям Claude Code с телефона или любого браузера менее чем за минуту с помощью Tailscale. Проект был создан с помощью Claude Code для каркаса, бэкенда с потоковой передачей SSE, мобильного чат-интерфейса и интеграции QR-кода.
Система ACO: мультиагентный ИИ-конвейер от задачи на GitHub до объединённого PR
ACO System — это мультиагентный фреймворк с открытым исходным кодом, где шесть специализированных AI-агентов автономно выполняют весь процесс разработки от GitHub Issue до объединенного PR, а детерминированный шлюз Architect отсеивает плохие задачи до того, как они попадут к разработчикам.
Voxray-AI: Продуктовая Go-бэкенд платформа для пайплайнов голосовых агентов в реальном времени
Voxray-AI — это бэкенд на Go, который объединяет Whisper → любой LLM → TTS в конвейер голосового агента реального времени с поддержкой WebSocket и WebRTC. Он создан для серверов производственного уровня и голосовых нагрузок с высокой параллельностью, с настраиваемыми провайдерами для уровней STT, LLM и TTS.