Pipeline de récapitulation de films locale utilisant Whisper + CLIP + Ollama
Un développeur a construit un pipeline automatisé qui transforme n'importe quel film en une vidéo de résumé narrée. La pile est entièrement locale : Whisper pour la transcription, CLIP pour l'appariement des scènes, Ollama (ou OpenAI/Gemini/Anthropic) pour la génération du script, Edge TTS pour la voix off, et FFmpeg pour le rendu.
Comment ça marche
- Entrée : Déposez n'importe quel fichier film via une interface web simple.
- Transcription : Whisper extrait les dialogues et les horodatages.
- Appariement des scènes : CLIP identifie les scènes visuelles qui correspondent au récit.
- Génération du script : Ollama (ou n'importe quel fournisseur d'API) écrit un script de résumé concis.
- Voix off et rendu : Edge TTS génère la narration, FFmpeg compose le tout en une vidéo finale.
L'ensemble du processus s'exécute localement avec Ollama, mais vous pouvez aussi brancher des API LLM distantes (OpenAI, Gemini, Anthropic). La durée totale est d'environ 15 minutes. Aucune édition manuelle requise.
Pour qui c'est fait
Les développeurs qui construisent des pipelines de génération vidéo automatisés ou toute personne souhaitant produire en série des résumés de films sans dépendances cloud.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Claude AI a construit un visualiseur de données OVNI avec des données gouvernementales en quelques heures
Un utilisateur de Reddit a utilisé Claude AI pour construire un visualiseur full-stack d'observations d'OVNI à partir de données récemment publiées par le Département de la Guerre américain, hébergé sur Cloudflare, en seulement quelques heures.
Évaluation de l'acheteur : Compétence Claude pour l'évaluation de fournisseurs B2B via des conversations avec agents IA
Une compétence Claude qui évalue les fournisseurs de logiciels B2B en recherchant votre entreprise, posant des questions spécifiques au domaine et interrogeant directement les agents IA des fournisseurs via l'API Salespeak Frontdoor. Elle recoupe les affirmations avec des sources indépendantes et produit des fiches d'évaluation basées sur des preuves avec des niveaux de vérification transparents.
AgentHandover : application de barre de menus Mac qui crée des compétences d'agent en observant votre écran
AgentHandover est une application open-source pour la barre de menus Mac qui utilise Gemma 4 fonctionnant localement via Ollama pour surveiller votre écran et transformer les workflows répétés en fichiers Skill structurés que n'importe quel agent peut suivre. Il propose à la fois l'enregistrement Focus pour des tâches spécifiques et la Découverte Passive qui détecte des modèles à partir d'observations en arrière-plan.
OpenClaw Voice : matériel DIY pour le contrôle vocal de la maison intelligente
OpenClaw Voice transforme le Home Assistant Voice PE (59 $) en interface vocale matérielle dédiée, avec reconnaissance vocale en moins d'une seconde, empreinte vocale et intégration de la mémoire OpenClaw. Véritable parole-à-parole via OpenAI Realtime, mot de réveil personnalisé et retour pour les tâches longues.