로컬 퍼스트 영화 요약 파이프라인: Whisper + CLIP + Ollama 활용
한 개발자가 모든 영화를 내레이션이 포함된 요약 동영상으로 변환하는 자동화 파이프라인을 구축했습니다. 스택은 완전히 로컬 우선입니다: Whisper는 전사를, CLIP은 장면 매칭을, Ollama(또는 OpenAI/Gemini/Anthropic)는 스크립트 생성을, Edge TTS는 음성 해설을, FFmpeg는 렌더링을 담당합니다.
작동 방식
- 입력: 간단한 웹 UI를 통해 영화 파일을 넣습니다.
- 전사: Whisper가 대화와 타임스탬프를 추출합니다.
- 장면 매칭: CLIP이 내러티브와 일치하는 시각적 장면을 식별합니다.
- 스크립트 생성: Ollama(또는 모든 API 제공업체)가 간결한 요약 스크립트를 작성합니다.
- 음성 해설 + 렌더링: Edge TTS가 내레이션을 생성하고, FFmpeg가 모든 것을 합성하여 최종 동영상을 만듭니다.
전체 프로세스는 Ollama로 로컬에서 실행되지만, 원격 LLM API(OpenAI, Gemini, Anthropic)를 연결할 수도 있습니다. 총 실행 시간은 약 15분입니다. 수동 편집이 필요하지 않습니다.
대상
자동화된 동영상 생성 파이프라인을 구축하는 개발자, 또는 클라우드 의존성 없이 영화 요약을 일괄 제작하려는 모든 사람.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also
로컬-클라우드 하이브리드 AI 아키텍처: r/LocalLLaMA에서 영감 받은 실용적 패턴
원본 게시글은 로컬 모델이 일상적인 작업을 처리하고, 복잡한 추론이 필요할 때 단일 API 호출을 통해 클라우드 모델에 위임하는 하이브리드 AI 모델을 제안합니다. 또한 안전 장치 역할을 하는 결정론적 '하이퍼바이저'를 포함합니다.
ToolLoop: 모든 모델과 함께 사용할 수 있는 Claude 스타일 도구용 오픈소스 에이전트 프레임워크
ToolLoop는 LiteLLM을 통해 모든 LLM과 작동하는 파일 작업, 코드 검색, 셸 접근 및 하위 에이전트를 위한 11가지 도구를 갖춘 오픈소스 Python 프레임워크입니다. 2,700줄의 이 프레임워크는 공유 컨텍스트로 대화 중간에 모델을 전환할 수 있습니다.
OpenClaw 길드: 팀을 위한 다중 사용자 AI 에이전트 서버
OpenClaw Guild는 단일 사용자용 OpenClaw를 다중 사용자 AI 서버로 확장하여 역할 기반 접근 제어, 에이전트별 데이터 격리, 4단계 메모리 시스템을 제공합니다. 웹 관리자 대시보드와 Docker-compose 배포를 포함하여 15분 내 설정이 가능합니다.
vllm-mlx 포크는 로컬 AI 코딩 에이전트를 위한 도구 호출 및 프롬프트 캐시 기능을 추가합니다.
한 개발자가 vllm-mlx를 수정하여 도구 호출 문제를 해결하고 프롬프트 캐싱을 추가해 Apple Silicon에서 OpenClaw의 TTFT를 28초에서 0.3초로 줄였습니다. 이 포크는 M3 Ultra에서 Qwen3-Coder-Next를 65 tok/s 속도로 작동하며 기능 호출도 지원합니다.