Конвейер рекапитуляции фильмов с локальным приоритетом с использованием Whisper + CLIP + Ollama
Разработчик создал автоматизированный пайплайн, который превращает любой фильм в видео-пересказ с озвучкой. Стек полностью локальный: Whisper для транскрибации, CLIP для сопоставления сцен, Ollama (или OpenAI/Gemini/Anthropic) для генерации сценария, Edge TTS для озвучки и FFmpeg для рендеринга.
Как это работает
- Ввод: Загрузите любой файл фильма через простой веб-интерфейс.
- Транскрибация: Whisper извлекает диалоги и временные метки.
- Сопоставление сцен: CLIP определяет визуальные сцены, соответствующие повествованию.
- Генерация сценария: Ollama (или любой провайдер API) пишет краткий сценарий пересказа.
- Озвучка и рендеринг: Edge TTS генерирует narration, FFmpeg собирает все в итоговое видео.
Весь процесс выполняется локально с Ollama, но вы также можете подключать удаленные LLM API (OpenAI, Gemini, Anthropic). Общее время выполнения — примерно 15 минут. Ручное редактирование не требуется.
Для кого это
Для разработчиков, создающих автоматизированные пайплайны генерации видео, или для тех, кто хочет массово создавать пересказы фильмов без облачных зависимостей.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Агент OpenClaw получает возможность телефонных звонков благодаря пользовательскому навыку.
Разработчик создал пользовательский навык для самостоятельно размещенных агентов OpenClaw, который добавляет функциональность телефонных звонков, позволяя агенту совершать вызовы по триггерам, таким как завершение сборки или сбои сервера. Реализация обеспечивает голосовое взаимодействие с полными чат-возможностями, включая веб-поиск и настройку оповещений.
Соперничающий обзор: Межмодельный цикл оценки планов ИИ-агентов
Rival-review — это инструмент с лицензией MIT, который использует вторую модель ИИ для проверки планов от основного агента ИИ-кодирования перед выполнением, выявляя такие проблемы, как ошибочные планы отката, уязвимости безопасности и решения на устаревших данных.
Аналитик данных создает инструмент калибровки промптов с помощью Claude без опыта во фронтенд-разработке.
Аналитик данных без опыта в HTML, CSS или JavaScript создал Prompt Calibrator — клиентский веб-инструмент, который структурирует промпты для ИИ через форму с четырьмя полями и четырьмя режимами. Инструмент был разработан с использованием Claude в качестве партнёра по ревью кода и размещён на GitHub Pages.
SlackClaw: Управляемый экземпляр OpenClaw для интеграции со Slack
SlackClaw — это коммерческий продукт, построенный на OpenClaw, который предоставляет управляемый экземпляр, специально предназначенный для Slack. Он предлагает установку в один клик, подключение инструментов через OAuth, выделенные серверы для каждого рабочего пространства и постоянную память.