LetMeWatch : Un plugin Python ajoute l'analyse vidéo à Claude via la détection de scènes FFmpeg
Un développeur a créé un plugin Python appelé LetMeWatch qui permet à Claude d'analyser le contenu vidéo malgré son manque de support vidéo natif. L'outil répond au cas d'utilisation spécifique d'envoyer des enregistrements d'écran de bugs à Claude pour diagnostic.
Fonctionnement
Le plugin utilise la détection de scènes FFmpeg pour extraire uniquement les images où le contenu visuel change réellement. Il horodate chaque image extraite et les envoie à Claude par lots. Cette approche évite d'utiliser des modèles d'IA vidéo ou une infrastructure complexe—elle repose sur l'extraction d'images combinée aux capacités de vision multimodale existantes de Claude.
Implémentation technique
- Écrit en Python (environ 200 lignes de code)
- Utilise FFmpeg pour la détection de scènes
- Extrait les images uniquement lorsque des changements visuels se produisent
- Ajoute des horodatages à chaque image
- Envoie les images à Claude par lots
- Fonctionne sur toutes les plateformes
- Open source (disponible sur GitHub)
Application pratique
Le développeur a testé l'outil en enregistrant un bug dans une application de tâches et en exécutant la commande /video-last. Claude a identifié avec succès la ligne exacte contenant la faute de frappe en regardant l'enregistrement. Cela démontre comment l'outil peut être utilisé pour le débogage en faisant analyser par Claude des enregistrements d'écran de problèmes.
Le projet est disponible à github.com/BinyaminEden/letmewatch et représente une solution pratique aux limitations vidéo actuelles de Claude en utilisant des outils existants et les capacités de vision de Claude.
📖 Read the full source: r/ClaudeAI
👀 See Also
Mandala v0.3 : Un runtime asynchrone open-source pour unifier la télémétrie logistique en tant que spans OpenTelemetry pour le raisonnement agentiel
Mandala v0.3 fournit un runtime asynchrone open-source qui ingère la télémétrie de Samsara, Descartes, Vizion et FMCSA via des webhooks, émet des événements sous forme de spans OpenTelemetry et expose les données via des outils MCP pour les agents LLM.
ThumbGate met en œuvre le modèle de harnais d'agent en langage naturel de Tsinghua pour la sécurité de l'IA
L'outil open-source ThumbGate implémente le schéma Natural-Language Agent Harness du document NLAH de Tsinghua, en associant quatre composants : les contrats aux règles de prévention générées à partir des retours négatifs, les portes de vérification aux crochets PreToolUse, l'état durable à la base de données de leçons SQLite+FTS5, et les adaptateurs aux adaptateurs de serveur MCP pour plusieurs agents d'IA de codage.
Vie-artificielle : Une reproduction en 300 lignes de Python de la recherche sur la Vie Computationnelle
Une implémentation en Python reproduisant l'article Computational Life, où une grille de 240x135 de programmes de type Brainfuck interagissent et font évoluer du code auto-répliquant via un appariement aléatoire et une concaténation de bandes d'instructions.
Transcription YouTube MCP Améliore le Flux de Travail de Recherche de Claude
Un MCP de transcription YouTube permet à Claude d'extraire des transcriptions complètes avec horodatages à partir de liens YouTube, éliminant ainsi le basculement manuel entre onglets et le copier-coller. L'utilisateur rapporte des réponses nettement meilleures lorsque Claude dispose des transcriptions réelles plutôt que des résumés de l'utilisateur.