Claude-real-video (GitHub) ist ein Python-CLI-Tool, das jedem LLM ermöglicht, ein Video tatsächlich zu „sehen", indem es szenenbewusste, deduplizierte Frames und ein Transkript extrahiert – alles lokal, ohne Upload zu externen Diensten. Im Gegensatz zur festen Frame-Intervall-Abtastung (z. B. 1 fps), die statische Inhalte überabtastet und schnelle Schnitte verpasst, verwendet dieses Tool eine Szenenwechselerkennung plus eine Dichteuntergrenze, um jede bedeutungsvolle visuelle Änderung zu erfassen und gleichzeitig nahezu identische Frames zu verwerfen.

Hauptfunktionen

• Szenenwechselerkennung mit konfigurierbarer Empfindlichkeit (--scene 0.30)
• Sliding-Window-Deduplizierung (--dedup-window 4, --dedup-threshold 8%) – vermeidet das erneute Senden derselben Einstellung nach einem Schnitt
• Dichteuntergrenze (--fps-floor 1.0) stellt sicher, dass mindestens ein Frame pro N Sekunden vorhanden ist
• Hartes Limit für die Gesamtanzahl der Frames: --max-frames 150
• Whisper-Transkription mit Spracherkennung (--lang auto oder Angabe von en, zh)
• Unterstützt URLs (YouTube, Instagram, TikTok, etc.) über yt-dlp und lokale Dateien
• Ausgabe in einem sauberen Ordner: crv-out/frames/*.jpg, crv-out/transcript.txt, crv-out/MANIFEST.txt – diese können in Claude, ChatGPT oder Gemini eingefügt werden
• Option zum Generieren eines visuellen Berichts über Entscheidungen zu behalten/verwerfen (--report)

Installation

pip install claude-real-video           # Kern (Frames + Dedup)
pip install "claude-real-video[whisper]"  # + Audiotranskription

Systemvoraussetzung: ffmpeg (Installation via brew install ffmpeg, sudo apt install ffmpeg oder winget install Gyan.FFmpeg).

Anwendungsbeispiele

# YouTube/Instagram-Link
crv "https://www.youtube.com/watch?v=..."

Lokale Datei mit englischem Transkript
crv lecture.mp4 -o out --lang en
Nur Frames, kein Transkript
crv clip.mp4 --no-transcribe
Mit Cookie-Datei für login-geschützte Inhalte
crv "https://..." --cookies cookies.txt

So funktioniert es

Das Tool verwendet yt-dlp, um URL-basierte Videos abzurufen (mit optionalen Cookies), dann ffmpeg zur Extraktion von Frames bei jedem Szenenwechsel plus einer Dichteuntergrenze. Ein Sliding-Window-Near-Duplicate-Detektor entfernt wiederholte Einstellungen. Audio wird über die Whisper-CLI transkribiert. Alles bleibt lokal – kein Upload in die Cloud.