Конвейер рекапитуляции фильмов с локальным приоритетом с использованием Whisper + CLIP + Ollama
Разработчик создал автоматизированный пайплайн, который превращает любой фильм в видео-пересказ с озвучкой. Стек полностью локальный: Whisper для транскрибации, CLIP для сопоставления сцен, Ollama (или OpenAI/Gemini/Anthropic) для генерации сценария, Edge TTS для озвучки и FFmpeg для рендеринга.
Как это работает
- Ввод: Загрузите любой файл фильма через простой веб-интерфейс.
- Транскрибация: Whisper извлекает диалоги и временные метки.
- Сопоставление сцен: CLIP определяет визуальные сцены, соответствующие повествованию.
- Генерация сценария: Ollama (или любой провайдер API) пишет краткий сценарий пересказа.
- Озвучка и рендеринг: Edge TTS генерирует narration, FFmpeg собирает все в итоговое видео.
Весь процесс выполняется локально с Ollama, но вы также можете подключать удаленные LLM API (OpenAI, Gemini, Anthropic). Общее время выполнения — примерно 15 минут. Ручное редактирование не требуется.
Для кого это
Для разработчиков, создающих автоматизированные пайплайны генерации видео, или для тех, кто хочет массово создавать пересказы фильмов без облачных зависимостей.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Интеграция локальной памяти Claude Code с Shodh: улучшение сохранения контекста с течением времени
Исследуйте интеграцию Claude Code с памятью Shodh для сохранения контекста долгосрочных проектов с использованием локального сервера памяти.
Улучшение сеансов кода Claude с claude-self-improve.
Claude-self-improve — это инструмент командной строки, который улучшает производительность ИИ Claude Code, анализируя данные сессий и автоматически обновляя файлы памяти.
Перепроектированный системный промпт Claude для AI-агентов UI без "слэпа"
Открытый системный промпт, заменяющий шаблонные выводы SaaS дисциплинированной дизайн-философией: WCAG, настоящий CSS Grid, токен-системы и 14 процедурных навыков.
ThunderClaw: Запуск агентов OpenClaw внутри Thunderbird для переписывания, перевода и обобщения электронных писем
ThunderClaw встраивает агентов OpenClaw в Thunderbird, предлагая функции переписывания, перевода и суммаризации с процессом «Сгенерировать → Просмотреть → Применить → Отменить».