LetMeWatch : Un plugin Python ajoute l'analyse vidéo à Claude via la détection de scènes FFmpeg

Un développeur a créé un plugin Python appelé LetMeWatch qui permet à Claude d'analyser le contenu vidéo malgré son manque de support vidéo natif. L'outil répond au cas d'utilisation spécifique d'envoyer des enregistrements d'écran de bugs à Claude pour diagnostic.

Fonctionnement

Le plugin utilise la détection de scènes FFmpeg pour extraire uniquement les images où le contenu visuel change réellement. Il horodate chaque image extraite et les envoie à Claude par lots. Cette approche évite d'utiliser des modèles d'IA vidéo ou une infrastructure complexe—elle repose sur l'extraction d'images combinée aux capacités de vision multimodale existantes de Claude.

Implémentation technique

• Écrit en Python (environ 200 lignes de code)
• Utilise FFmpeg pour la détection de scènes
• Extrait les images uniquement lorsque des changements visuels se produisent
• Ajoute des horodatages à chaque image
• Envoie les images à Claude par lots
• Fonctionne sur toutes les plateformes
• Open source (disponible sur GitHub)

Application pratique

Le développeur a testé l'outil en enregistrant un bug dans une application de tâches et en exécutant la commande /video-last. Claude a identifié avec succès la ligne exacte contenant la faute de frappe en regardant l'enregistrement. Cela démontre comment l'outil peut être utilisé pour le débogage en faisant analyser par Claude des enregistrements d'écran de problèmes.

Le projet est disponible à github.com/BinyaminEden/letmewatch et représente une solution pratique aux limitations vidéo actuelles de Claude en utilisant des outils existants et les capacités de vision de Claude.