LetMeWatch: FFmpeg 장면 감지를 통해 Claude에 비디오 분석 기능을 추가하는 Python 플러그인

개발자가 Claude의 기본 비디오 지원 부재에도 불구하고 Claude가 비디오 콘텐츠를 분석할 수 있도록 하는 'LetMeWatch'라는 Python 플러그인을 만들었습니다. 이 도구는 버그의 화면 녹화를 Claude에 전송해 진단받는 특정 사용 사례를 해결합니다.

작동 방식

이 플러그인은 FFmpeg 장면 감지를 사용해 실제로 시각적 변화가 있는 프레임만 추출합니다. 추출된 각 프레임에 타임스탬프를 추가하고 이를 배치로 Claude에 전송합니다. 이 접근 방식은 AI 비디오 모델이나 복잡한 인프라를 사용하지 않고, 프레임 추출과 Claude의 기존 다중모달 비전 기능에 의존합니다.

기술적 구현

• Python으로 작성됨 (약 200줄의 코드)
• 장면 감지를 위해 FFmpeg 사용
• 시각적 변화가 발생할 때만 프레임 추출
• 각 프레임에 타임스탬프 추가
• 프레임을 배치로 Claude에 전송
• 모든 플랫폼에서 작동
• 오픈 소스 (GitHub에서 이용 가능)

실용적 적용

개발자는 할 일 앱의 버그를 녹화하고 /video-last 명령을 실행하여 이 도구를 테스트했습니다. Claude는 녹화본을 시청하여 오타가 있는 정확한 줄을 성공적으로 식별했습니다. 이는 Claude가 문제의 화면 녹화를 분석하도록 하여 디버깅에 이 도구를 사용할 수 있는 방법을 보여줍니다.

이 프로젝트는 github.com/BinyaminEden/letmewatch에서 이용 가능하며, 기존 도구와 Claude의 비전 기능을 사용해 Claude의 현재 비디오 제한을 실용적으로 우회하는 방법을 보여줍니다.