LetMeWatch: Python-плагин добавляет анализ видео в Claude через обнаружение сцен с помощью FFmpeg

Разработчик создал плагин на Python под названием LetMeWatch, который позволяет Клоду анализировать видеоконтент, несмотря на отсутствие у него встроенной поддержки видео. Этот инструмент решает конкретную задачу отправки скринкастов с ошибками Клоду для их диагностики.

Как это работает

Плагин использует обнаружение сцен в FFmpeg для извлечения только тех кадров, где изображение действительно меняется. Он добавляет временную метку к каждому извлечённому кадру и передаёт их Клоду партиями. Этот подход позволяет обойтись без моделей ИИ для видео или сложной инфраструктуры — он полагается на извлечение кадров в сочетании с существующими мультимодальными зрительными возможностями Клода.

Техническая реализация

• Написан на Python (~200 строк кода)
• Использует FFmpeg для обнаружения сцен
• Извлекает кадры только при визуальных изменениях
• Добавляет временные метки к каждому кадру
• Отправляет кадры Клоду партиями
• Работает на всех платформах
• Открытый исходный код (доступен на GitHub)

Практическое применение

Разработчик протестировал инструмент, записав ошибку в приложении для списка дел и выполнив команду /video-last. Клод успешно определил точную строку с опечаткой, просмотрев запись. Это демонстрирует, как инструмент можно использовать для отладки, заставляя Клода анализировать скринкасты с проблемами.

Проект доступен по адресу github.com/BinyaminEden/letmewatch и представляет собой практичное решение текущих ограничений Клода в работе с видео, используя существующие инструменты и его зрительные возможности.