Pipeline de Recapitulación de Películas Local-Primero Usando Whisper + CLIP + Ollama

Un desarrollador creó un pipeline automatizado que convierte cualquier película en un video de resumen narrado. La pila es completamente local: Whisper para la transcripción, CLIP para la coincidencia de escenas, Ollama (o OpenAI/Gemini/Anthropic) para la generación del guion, Edge TTS para la locución y FFmpeg para la renderización.

Cómo funciona

• Entrada: Introduce cualquier archivo de película a través de una interfaz web simple.
• Transcripción: Whisper extrae el diálogo y las marcas de tiempo.
• Coincidencia de escenas: CLIP identifica las escenas visuales que coinciden con la narrativa.
• Generación del guion: Ollama (o cualquier proveedor de API) escribe un guion de resumen conciso.
• Locución y renderizado: Edge TTS genera la narración, FFmpeg compone todo en un video final.

Todo el proceso se ejecuta localmente con Ollama, pero también puedes conectar API de LLM remotas (OpenAI, Gemini, Anthropic). El tiempo total de ejecución es de aproximadamente 15 minutos. No se requiere edición manual.

Para quién es

Desarrolladores que construyen pipelines automatizados de generación de videos o cualquier persona que quiera producir en lote resúmenes de películas sin dependencias en la nube.