Atlas : le modèle mondial omni de World Labs pour l'intelligence spatiale

World Labs a introduit Atlas, un « modèle mondial omni » pour l'intelligence spatiale. Atlas est pré-entraîné de zéro pour fonctionner nativement sur le texte, les images, la vidéo et la 3D, combinant toutes les entrées dans un contexte spatial partagé. C'est un transformateur autorégressif de diffusion multimodal qui génère des sorties cohérentes avec la géométrie 3D qu'il a vue, et peut même imaginer ce qui se trouve au-delà des images d'entrée.

Ce que peut faire Atlas

Atlas est conçu pour gérer trois tâches principales : la génération de mondes, la reconstruction et la simulation.

Génération contrôlée par caméra

Atlas génère des images et des vidéos à partir d'une à six images de référence avec un contrôle précis de la caméra. Vous spécifiez le chemin de la caméra, sans avoir besoin de prompts textuels. Il produit jusqu'à 1 minute de vidéo en 1440p. À partir d'une seule image, il peut extrapoler des parties invisibles d'une scène (par exemple, le dos d'un robot, une pelouse à côté d'une piscine).

Reconstruction spatiale

Atlas reconstruit des scènes du monde réel à partir d'une à plusieurs dizaines d'images d'entrée. Selon World Labs, il surpasse les modèles de reconstruction 3D de pointe et produit à la fois des images de nouvelles vues et des sorties 3D explicites. C'est une avancée sur le problème ancien de la synthèse de nouvelles vues à partir d'images clairsemées.

Simulation espace-temps

Atlas modélise l'espace et le temps à partir de vidéos d'entrée. Il peut recadrer des vidéos pour des effets visuels et prend en charge les flux de travail Real-to-Sim pour la robotique.

Génération d'images

À partir de texte, Atlas peut générer des images et des panoramas à 360°, suivant des prompts complexes et rendant du texte avec une variété de styles visuels.

Détails techniques clés

Le modèle fonctionne en encodant les entrées dans un « contexte spatial » : chaque image est ancrée à une position 3D. Ce contexte vous permet de placer des images non liées à des positions 3D arbitraires et Atlas générera un monde qui interpole entre elles (imaginant des portes, des couloirs, etc.). Cela permet des vidéos longues et contrôlables : « vous mettez en scène la scène, vous ne tirez pas le levier d'une machine à sous. »

À qui cela s'adresse

Les développeurs travaillant dans la création de contenu 3D, la simulation robotique, ou toute personne ayant besoin de génération vidéo contrôlable à partir d'images d'entrée clairsemées. Atlas alimentera les futures versions du produit Marble de World Labs. L'accès anticipé est disponible sur le site de World Labs.