넷플릭스, 허깅 페이스에 비디오 객체 및 상호작용 삭제 모델 'VOID' 공개

VOID의 기능
VOID는 비디오에서 객체와 함께 장면에 유발하는 모든 상호작용을 제거합니다 — 그림자와 반사와 같은 부수적 효과뿐만 아니라, 사람이 제거될 때 물체가 떨어지는 것과 같은 물리적 상호작용도 포함합니다.
기술 요구사항
- 40GB 이상의 VRAM이 탑재된 GPU 필요 (예: A100)
- CogVideoX-Fun-V1.5-5b-InP 기반 구축
- 상호작용 인식 쿼드마스크 조건화를 통한 비디오 인페인팅을 위해 미세 조정됨
- 쿼드마스크는 4가지 값을 인코딩하는 마스크입니다: 주요 객체(제거), 겹치는 영역, 영향받는 영역(떨어지는 물체, 이동된 아이템), 배경(유지)
- 해상도: 384x672 (기본값)
- 최대 프레임: 197
- 스케줄러: DDIM
- 정밀도: 메모리 효율성을 위한 BF16 및 FP8 양자화
모델 파일
void_pass1.safetensors- 기본 인페인팅 모델 (필수)void_pass2.safetensors- 시간적 일관성을 위한 워프 노이즈 정제 (선택 사항)
Pass 1은 대부분의 비디오에 충분합니다. Pass 2는 더 긴 클립에서 향상된 시간적 일관성을 위해 광학 흐름 워프 잠재 초기화를 추가합니다.
빠른 시작
포함된 노트북은 설정을 처리하고, 모델을 다운로드하며, 샘플 비디오에서 추론을 실행하고 결과를 표시합니다.
git clone https://github.com/netflix/void-model.git
cd void-modelCLI 사용법
# 의존성 설치
pip install -r requirements.txt
기본 모델 다운로드
huggingface-cli download alibaba-pai/CogVideoX-Fun-V1.5-5b-InP
--local-dir ./CogVideoX-Fun-V1.5-5b-InP
VOID 체크포인트 다운로드
huggingface-cli download netflix/void-model
--local-dir .
샘플에서 Pass 1 추론 실행
python inference/cogvideox_fun/predict_v2v.py
--config config/quadmask_cogvideox.py
--config.data.data_rootdir= "./sample"
--config.experiment.run_seqs= "lime"
--config.experiment.save_path= "./outputs"
--config.video_model.transformer_path= "./void_pass1.safetensors"
입력 형식
각 비디오는 폴더에 세 개의 파일이 필요합니다:
input_video.mp4- 소스 비디오quadmask_0.mp4- 4값 마스크 (0=제거, 63=겹침, 127=영향받음, 255=유지)prompt.json- {"bg": "제거 후 장면 설명"}
저장소에는 SAM2 + Gemini를 사용하여 원시 비디오에서 쿼드마스크를 생성하는 마스크 생성 파이프라인(VLM-MASK-REASONER/)이 포함되어 있습니다.
훈련 세부사항
- 두 가지 소스에서 생성된 쌍을 이루는 반사실적 비디오로 훈련됨: HUMOTO(물리 시뮬레이션을 사용한 Blender에서 렌더링된 인간-객체 상호작용) 및 Kubric(Google Scanned Objects를 사용한 객체 전용 상호작용)
- 훈련은 DeepSpeed ZeRO Stage 2를 사용하여 8x A100 80GB GPU에서 실행됨
아키텍처
- 기반: CogVideoX 3D Transformer (50억 매개변수)
- 입력: 비디오 + 쿼드마스크 + 제거 후 장면을 설명하는 텍스트 프롬프트
📖 Read the full source: HN AI Agents
👀 See Also

MemAware 벤치마크, AI 기억력을 키워드 검색 이상으로 테스트하다
MemAware는 3가지 난이도에 걸친 900개의 질문으로 구성된 벤치마크로, 메모리가 있는 AI 어시스턴트가 힌트가 없는 쿼리에서 관련 컨텍스트를 표면화할 수 있는지 테스트합니다. 결과는 BM25 검색이 메모리 없음 대비 2.8% vs 0.8%로 점수를 기록한 반면, 벡터 검색은 도메인 간 연결에서 0.7%로 떨어졌음을 보여줍니다.

AI 생성 코드의 품질과 보안을 향상시키기 위해 pre-commit 사용하기
한 개발자가 Go와 Java 프로젝트를 위한 pre-commit 설정을 공유합니다. golangci-lint, govulncheck, checkov와 같은 도구를 사용하여 AI 생성 코드의 취약점과 품질 문제를 커밋 전에 포착합니다.

ClawRelay: 자동 장애 조치 기능을 갖춘 macOS 네이티브 OpenAI 호환 LLM 프록시
ClawRelay는 macOS 15+에서 OpenAI 호환 HTTP 서버를 실행하며, LLM 제공자 간 자동 장애 조치 기능을 제공합니다. OpenAI, Groq, Nvidia NIMs, Ollama 및 /v1/chat/completions 엔드포인트를 지원하는 모든 서비스를 지원합니다.

리콜: 클로드 코드를 위한 로컬 프로젝트 메모리 — 요약에 토큰 소모 없음
Recall은 클래식 요약을 통해 Claude Code에 지속적인 로컬 세션 메모리를 제공합니다. API 키나 외부 모델이 필요 없으며, context.md는 세션 훅에서 오프라인으로 구축되어 약 1~2K 토큰입니다.