Whisper + CLIP + Ollamaを使用したローカルファーストの映画要約パイプライン

開発者が、どんな映画でもナレーション付きの要約動画に変換する自動パイプラインを構築しました。スタックは全てローカルファーストです。Whisperで文字起こし、CLIPでシーンマッチング、Ollama(またはOpenAI/Gemini/Anthropic)でスクリプト生成、Edge TTSでナレーション、FFmpegでレンダリングを行います。
仕組み
- 入力: シンプルなWeb UIから任意の動画ファイルをドロップ。
- 文字起こし: Whisperが台詞とタイムスタンプを抽出。
- シーンマッチング: CLIPがナレーションに合った視覚的なシーンを特定。
- スクリプト生成: Ollama(または任意のAPIプロバイダ)が簡潔な要約スクリプトを作成。
- ナレーションとレンダリング: Edge TTSがナレーションを生成し、FFmpegが全てを合成して最終的な動画に。
プロセス全体はOllamaを使ってローカルで動作しますが、リモートのLLM API(OpenAI、Gemini、Anthropic)を接続することも可能です。合計実行時間は約15分。手動編集は不要です。
対象ユーザー
自動動画生成パイプラインを構築したい開発者、またはクラウド依存なしに映画の要約をバッチ生産したい方。
📖 Read the full source: r/LocalLLaMA
👀 See Also

VAST.AI GPUレンタルでOpenClawを設定して、無制限のOllamaプロンプトを実現
ユーザーはVAST.AIのGPUレンタルをOllamaとOpenClawと組み合わせてプロンプト制限を回避しようとしたが、手動でのJSON編集が必要な設定上の課題に直面したと説明している。

エージェントタイムズスキルがClawHubに追加され、リアルタイムニュース、天気、トークン価格のクエリが可能に
ClawHubの新スキル「Agent Times」は、AIエージェントがニュース、天気、暗号通貨価格に関するリアルタイムクエリに回答できるようにします。インストールはnpx clawhub install agenttimesで行い、3,576のフィードから228,000以上の記事にアクセスでき、感情スコアリングとエンティティ抽出を提供します。

文脈設計型学習システム「Claude Code」は持続的なチューターとして機能します
開発者がClaude Codeを使用して、セッション間で進捗を追跡し、理解度を調査し、演習問題に取り組み、学習スタイルに適応する学習システムを構築しました。このシステムは構造化されたマークダウンファイルを使用してエージェントの動作を形成し、PDFから教科書のページを抽出するツールを含んでいます。

オープンソースのClaudeコードツールによる自動化バグバウンティハンティング
3つのオープンソースリポジトリが、Claude Codeを使用してバグバウンティのパイプラインを自動化します。これらのツールは偵察、Web2/Web3の脆弱性スキャン、提出準備済みレポートの生成を処理します。