Atlas: El modelo mundial omni de World Labs para la inteligencia espacial

World Labs ha presentado Atlas, un "modelo mundial omni" para la inteligencia espacial. Atlas está preentrenado desde cero para operar de forma nativa con texto, imágenes, video y 3D, combinando todas las entradas en un contexto espacial compartido. Es un transformador de difusión autoregresivo multimodal que genera resultados consistentes con la geometría 3D que ha visto, e incluso puede imaginar lo que hay más allá de los fotogramas de entrada.

Lo que Atlas puede hacer

Atlas está diseñado para manejar tres tareas principales: generación de mundos, reconstrucción y simulación.

Generación controlada por cámara

Atlas genera imágenes y videos a partir de una a seis imágenes de referencia con un control preciso de la cámara. Usted especifica la trayectoria de la cámara, sin necesidad de indicaciones basadas en texto. Produce hasta 1 minuto de video a 1440p. A partir de una sola imagen, puede extrapolar partes invisibles de una escena (por ejemplo, el lado posterior de un robot, un césped junto a una piscina).

Reconstrucción espacial

Atlas reconstruye escenas del mundo real a partir de una a docenas de imágenes de entrada. Según World Labs, supera a los modelos de reconstrucción 3D de última generación y produce tanto fotogramas de vista novedosa como salidas 3D explícitas. Esto es un avance en el problema de décadas de síntesis de vistas novedosas a partir de imágenes dispersas.

Simulación de espacio-tiempo

Atlas modela el espacio y el tiempo a partir de videos de entrada. Puede reencuadrar videos para efectos visuales y admite flujos de trabajo Real-to-Sim para robótica.

Generación de imágenes

A partir de texto, Atlas puede generar imágenes y panorámicas de 360 grados, siguiendo indicaciones complejas y renderizando texto con una variedad de estilos visuales.

Detalles técnicos clave

El modelo funciona codificando las entradas en un "contexto espacial": cada imagen se ancla en una posición 3D. Este contexto permite colocar imágenes no relacionadas en ubicaciones 3D arbitrarias y Atlas generará un mundo que interpola entre ellas (imaginando puertas, pasillos, etc.). Esto permite videos largos y controlables: "usted está escenificando la escena, no tirando de la palanca de una máquina tragamonedas".

Para quién es

Desarrolladores que trabajan en creación de contenido 3D, simulación robótica, o cualquier persona que necesite generación de video controlable a partir de entradas de imágenes dispersas. Atlas impulsará futuras versiones del producto Marble de World Labs. El acceso temprano está disponible en el sitio de World Labs.