LetMeWatch: FFmpeg 장면 감지를 통해 Claude에 비디오 분석 기능을 추가하는 Python 플러그인
개발자가 Claude의 기본 비디오 지원 부재에도 불구하고 Claude가 비디오 콘텐츠를 분석할 수 있도록 하는 'LetMeWatch'라는 Python 플러그인을 만들었습니다. 이 도구는 버그의 화면 녹화를 Claude에 전송해 진단받는 특정 사용 사례를 해결합니다.
작동 방식
이 플러그인은 FFmpeg 장면 감지를 사용해 실제로 시각적 변화가 있는 프레임만 추출합니다. 추출된 각 프레임에 타임스탬프를 추가하고 이를 배치로 Claude에 전송합니다. 이 접근 방식은 AI 비디오 모델이나 복잡한 인프라를 사용하지 않고, 프레임 추출과 Claude의 기존 다중모달 비전 기능에 의존합니다.
기술적 구현
- Python으로 작성됨 (약 200줄의 코드)
- 장면 감지를 위해 FFmpeg 사용
- 시각적 변화가 발생할 때만 프레임 추출
- 각 프레임에 타임스탬프 추가
- 프레임을 배치로 Claude에 전송
- 모든 플랫폼에서 작동
- 오픈 소스 (GitHub에서 이용 가능)
실용적 적용
개발자는 할 일 앱의 버그를 녹화하고 /video-last 명령을 실행하여 이 도구를 테스트했습니다. Claude는 녹화본을 시청하여 오타가 있는 정확한 줄을 성공적으로 식별했습니다. 이는 Claude가 문제의 화면 녹화를 분석하도록 하여 디버깅에 이 도구를 사용할 수 있는 방법을 보여줍니다.
이 프로젝트는 github.com/BinyaminEden/letmewatch에서 이용 가능하며, 기존 도구와 Claude의 비전 기능을 사용해 Claude의 현재 비디오 제한을 실용적으로 우회하는 방법을 보여줍니다.
📖 Read the full source: r/ClaudeAI
👀 See Also
AI 서브루틴: 제로 토큰 비용으로 결정론적 브라우저 자동화
rtrvr.ai의 AI 서브루틴은 브라우저 작업을 한 번 기록하여 호출 가능한 도구로 저장하며, 인증이 자동으로 전파된 상태로 웹페이지 컨텍스트 내에서 재실행되어, 반복 작업에 대한 LLM 추론 비용과 비결정성을 제거합니다.
스킬스게이트: AI 코딩 에이전트 스킬을 위한 오픈소스 마켓플레이스
SkillsGate는 Claude Code, Cursor, Windsurf와 같은 AI 코딩 에이전트를 위한 45,000개 이상의 스킬을 인덱싱하는 오픈 소스 마켓플레이스입니다. 벡터 임베딩을 통한 의미론적 검색과 npx를 통한 원-커맨드 설치를 제공합니다.
PhAIL 벤치마크, 실제 창고 로봇 작업에서 VLA 모델 성능 평가
PhAIL은 Franka FR3 로봇을 사용한 빈-투-빈 주문 피킹 작업에서 4가지 비전-언어-액션 모델을 테스트하는 실제 로봇 벤치마크입니다. 최고 성능 모델은 시간당 64개 단위를 달성했으며, 이는 인간 원격 조작의 330 UPH와 인간 수동 작업의 1,300+ UPH와 비교됩니다.
rawq: AI 에이전트 시맨틱 코드 검색을 위한 로컬 CLI 도구
rawq는 ONNX 런타임을 통한 시맨틱 검색과 tantivy를 통한 BM25 어휘 검색을 결합한 33MB 로컬 모델을 사용하는 오픈소스 CLI 도구로, AI 에이전트가 관련 코드를 찾는 데 도움을 줍니다. 테스트에서 rawq를 사용한 AI 에이전트는 무작위 read/grep 도구에 비해 4배 적은 토큰을 소비하고 작업을 2배 빠르게 완료했습니다.