LetMeWatch: Python-Plugin fügt Claude Videoanalyse via FFmpeg-Szenenerkennung hinzu

Ein Entwickler hat ein Python-Plugin namens LetMeWatch erstellt, das Claude ermöglicht, Videoinhalte zu analysieren, obwohl es keine native Videounterstützung hat. Das Tool adressiert den spezifischen Anwendungsfall, Bildschirmaufnahmen von Fehlern an Claude zur Diagnose zu senden.

So funktioniert es

Das Plugin nutzt die FFmpeg-Szenenerkennung, um nur Frames zu extrahieren, in denen sich die visuellen Inhalte tatsächlich ändern. Es versieht jeden extrahierten Frame mit einem Zeitstempel und gibt sie Claude in Batches weiter. Dieser Ansatz vermeidet die Nutzung von KI-Videomodellen oder komplexer Infrastruktur – er setzt auf Frame-Extraktion in Kombination mit Claudes bestehenden multimodalen Vision-Fähigkeiten.

Technische Umsetzung

• In Python geschrieben (etwa 200 Codezeilen)
• Nutzt FFmpeg zur Szenenerkennung
• Extrahiert Frames nur bei visuellen Veränderungen
• Fügt jedem Frame Zeitstempel hinzu
• Sendet Frames in Batches an Claude
• Funktioniert auf allen Plattformen
• Open Source (verfügbar auf GitHub)

Praktische Anwendung

Der Entwickler testete das Tool, indem er einen Fehler in einer Todo-App aufzeichnete und den Befehl /video-last ausführte. Claude identifizierte erfolgreich die exakte Zeile mit dem Tippfehler durch das Anschauen der Aufnahme. Dies zeigt, wie das Tool zum Debuggen genutzt werden kann, indem Claude Bildschirmaufnahmen von Problemen analysiert.

Das Projekt ist verfügbar unter github.com/BinyaminEden/letmewatch und stellt eine praktische Lösung für Claudes derzeitige Videobeschränkungen dar, indem es bestehende Tools und Claudes Vision-Fähigkeiten nutzt.