로컬 퍼스트 영화 요약 파이프라인: Whisper + CLIP + Ollama 활용

한 개발자가 모든 영화를 내레이션이 포함된 요약 동영상으로 변환하는 자동화 파이프라인을 구축했습니다. 스택은 완전히 로컬 우선입니다: Whisper는 전사를, CLIP은 장면 매칭을, Ollama(또는 OpenAI/Gemini/Anthropic)는 스크립트 생성을, Edge TTS는 음성 해설을, FFmpeg는 렌더링을 담당합니다.

작동 방식

• 입력: 간단한 웹 UI를 통해 영화 파일을 넣습니다.
• 전사: Whisper가 대화와 타임스탬프를 추출합니다.
• 장면 매칭: CLIP이 내러티브와 일치하는 시각적 장면을 식별합니다.
• 스크립트 생성: Ollama(또는 모든 API 제공업체)가 간결한 요약 스크립트를 작성합니다.
• 음성 해설 + 렌더링: Edge TTS가 내레이션을 생성하고, FFmpeg가 모든 것을 합성하여 최종 동영상을 만듭니다.

전체 프로세스는 Ollama로 로컬에서 실행되지만, 원격 LLM API(OpenAI, Gemini, Anthropic)를 연결할 수도 있습니다. 총 실행 시간은 약 15분입니다. 수동 편집이 필요하지 않습니다.

대상

자동화된 동영상 생성 파이프라인을 구축하는 개발자, 또는 클라우드 의존성 없이 영화 요약을 일괄 제작하려는 모든 사람.