Ce que fait VOID

VOID supprime des objets des vidéos ainsi que toutes les interactions qu'ils induisent dans la scène — pas seulement les effets secondaires comme les ombres et les réflexions, mais aussi les interactions physiques comme les objets qui tombent lorsqu'une personne est retirée.

Exigences techniques

• Nécessite un GPU avec 40 Go+ de VRAM (par exemple, A100)
• Basé sur CogVideoX-Fun-V1.5-5b-InP
• Affiné pour le vidéo-inpainting avec un conditionnement par quadmask conscient des interactions
• La quadmask est un masque à 4 valeurs qui encode : l'objet principal (à retirer), les régions de chevauchement, les régions affectées (objets tombants, éléments déplacés) et l'arrière-plan (à conserver)
• Résolution : 384x672 (par défaut)
• Nombre maximal d'images : 197
• Planificateur : DDIM
• Précision : BF16 avec quantification FP8 pour l'efficacité mémoire

Fichiers du modèle

• void_pass1.safetensors - Modèle de base pour le vidéo-inpainting (obligatoire)
• void_pass2.safetensors - Raffinement par bruit déformé pour la cohérence temporelle (optionnel)

La passe 1 est suffisante pour la plupart des vidéos. La passe 2 ajoute une initialisation latente déformée par flux optique pour améliorer la cohérence temporelle sur les clips plus longs.

Démarrage rapide

Le notebook inclus gère la configuration, télécharge les modèles, exécute l'inférence sur une vidéo d'exemple et affiche le résultat.

git clone https://github.com/netflix/void-model.git
cd void-model

Utilisation en ligne de commande

# Installer les dépendances
pip install -r requirements.txt

Télécharger le modèle de base
huggingface-cli download alibaba-pai/CogVideoX-Fun-V1.5-5b-InP 
  --local-dir ./CogVideoX-Fun-V1.5-5b-InP
Télécharger les points de contrôle VOID
huggingface-cli download netflix/void-model 
  --local-dir .
Exécuter l'inférence de la passe 1 sur un exemple
python inference/cogvideox_fun/predict_v2v.py 
  --config config/quadmask_cogvideox.py 
  --config.data.data_rootdir= "./sample" 
  --config.experiment.run_seqs= "lime" 
  --config.experiment.save_path= "./outputs" 
  --config.video_model.transformer_path= "./void_pass1.safetensors"

Format d'entrée

Chaque vidéo nécessite trois fichiers dans un dossier :

• input_video.mp4 - vidéo source
• quadmask_0.mp4 - masque à 4 valeurs (0=retirer, 63=chevauchement, 127=affecté, 255=conserver)
• prompt.json - {"bg": "description de la scène après retrait"}

Le dépôt inclut un pipeline de génération de masques (VLM-MASK-REASONER/) qui crée des quadmasks à partir de vidéos brutes en utilisant SAM2 + Gemini.

Détails de l'entraînement

• Entraîné sur des vidéos contrefactuelles appariées générées à partir de deux sources : HUMOTO (interactions humain-objet rendues dans Blender avec simulation physique) et Kubric (interactions uniquement entre objets utilisant Google Scanned Objects)
• L'entraînement a été exécuté sur 8 GPU A100 80 Go en utilisant DeepSpeed ZeRO Stage 2

Architecture

• Base : CogVideoX 3D Transformer (5 milliards de paramètres)
• Entrée : Vidéo + quadmask + prompt textuel décrivant la scène après retrait