Whisper + CLIP + Ollamaを使用したローカルファーストの映画要約パイプライン

開発者が、どんな映画でもナレーション付きの要約動画に変換する自動パイプラインを構築しました。スタックは全てローカルファーストです。Whisperで文字起こし、CLIPでシーンマッチング、Ollama（またはOpenAI/Gemini/Anthropic）でスクリプト生成、Edge TTSでナレーション、FFmpegでレンダリングを行います。

仕組み

• 入力: シンプルなWeb UIから任意の動画ファイルをドロップ。
• 文字起こし: Whisperが台詞とタイムスタンプを抽出。
• シーンマッチング: CLIPがナレーションに合った視覚的なシーンを特定。
• スクリプト生成: Ollama（または任意のAPIプロバイダ）が簡潔な要約スクリプトを作成。
• ナレーションとレンダリング: Edge TTSがナレーションを生成し、FFmpegが全てを合成して最終的な動画に。

プロセス全体はOllamaを使ってローカルで動作しますが、リモートのLLM API（OpenAI、Gemini、Anthropic）を接続することも可能です。合計実行時間は約15分。手動編集は不要です。

対象ユーザー

自動動画生成パイプラインを構築したい開発者、またはクラウド依存なしに映画の要約をバッチ生産したい方。