LetMeWatch: Complemento de Python Agrega Análisis de Video a Claude mediante Detección de Escenas con FFmpeg

Un desarrollador ha creado un complemento de Python llamado LetMeWatch que permite a Claude analizar contenido de video a pesar de su falta de soporte nativo para video. La herramienta aborda el caso de uso específico de enviar grabaciones de pantalla de errores a Claude para su diagnóstico.

Cómo funciona

El complemento utiliza la detección de escenas de FFmpeg para extraer solo los fotogramas donde realmente cambian las imágenes. Asigna una marca de tiempo a cada fotograma extraído y los envía a Claude en lotes. Este enfoque evita el uso de modelos de video de IA o infraestructura compleja: se basa en la extracción de fotogramas combinada con las capacidades de visión multimodal existentes de Claude.

Implementación técnica

• Escrito en Python (aproximadamente 200 líneas de código)
• Utiliza FFmpeg para la detección de escenas
• Extrae fotogramas solo cuando ocurren cambios visuales
• Añade marcas de tiempo a cada fotograma
• Envía fotogramas a Claude en lotes
• Funciona en todas las plataformas
• Código abierto (disponible en GitHub)

Aplicación práctica

El desarrollador probó la herramienta grabando un error en una aplicación de tareas pendientes y ejecutando el comando /video-last. Claude identificó con éxito la línea exacta con el error tipográfico al ver la grabación. Esto demuestra cómo se puede utilizar la herramienta para depurar errores al hacer que Claude analice grabaciones de pantalla de problemas.

El proyecto está disponible en github.com/BinyaminEden/letmewatch y representa una solución práctica para las limitaciones actuales de video de Claude utilizando herramientas existentes y las capacidades de visión de Claude.