LetMeWatch: PythonプラグインがFFmpegのシーン検出を介してClaudeに動画分析機能を追加

開発者は、Claudeがネイティブで動画をサポートしていないにもかかわらず、動画コンテンツを分析できるようにするLetMeWatchというPythonプラグインを作成しました。このツールは、バグのスクリーンレコーディングをClaudeに送信して診断するという特定のユースケースに対応しています。

仕組み

このプラグインは、FFmpegのシーン検出を使用して、視覚的に実際に変化があるフレームのみを抽出します。抽出された各フレームにタイムスタンプを付け、バッチでClaudeに送信します。このアプローチは、AI動画モデルや複雑なインフラストラクチャを使用せず、フレーム抽出とClaudeの既存のマルチモーダル視覚機能を組み合わせています。

技術的な実装

• Pythonで記述（約200行のコード）
• シーン検出にFFmpegを使用
• 視覚的な変化が発生した場合のみフレームを抽出
• 各フレームにタイムスタンプを追加
• フレームをバッチでClaudeに送信
• すべてのプラットフォームで動作
• オープンソース（GitHubで公開）

実用的な応用

開発者は、todoアプリのバグを録画し、/video-lastコマンドを実行してこのツールをテストしました。Claudeは録画を見て、タイプミスがある正確な行を特定することに成功しました。これは、問題のスクリーンレコーディングをClaudeに分析させることで、デバッグにどのように使用できるかを示しています。

このプロジェクトはgithub.com/BinyaminEden/letmewatchで公開されており、既存のツールとClaudeの視覚機能を使用して、Claudeの現在の動画制限に対する実用的な回避策を提供しています。