Atlas: универсальная мировая модель World Labs для пространственного интеллекта

Компания World Labs представила Atlas — «всеобъемлющую мировую модель» для пространственного интеллекта. Atlas с нуля обучается работать с текстом, изображениями, видео и 3D, объединяя все входные данные в общий пространственный контекст. Это мультимодальный авторегрессионный диффузионный трансформер, который генерирует результаты, согласованные с увиденной 3D-геометрией, и может даже представить, что находится за пределами входных кадров.

Что умеет Atlas

Atlas предназначен для решения трёх основных задач: генерация миров, реконструкция и симуляция.

Генерация с управлением камерой

Atlas генерирует изображения и видео на основе одного-шести эталонных изображений с точным управлением камерой. Вы задаёте путь камеры — текстовые подсказки не нужны. Он выдаёт до 1 минуты видео в разрешении 1440p. По одному изображению он может экстраполировать невидимые части сцены (например, заднюю сторону робота, газон рядом с бассейном).

Пространственная реконструкция

Atlas реконструирует реальные сцены по одному-нескольким десяткам входных изображений. По словам World Labs, он превосходит современные модели 3D-реконструкции и выдаёт как кадры новых ракурсов, так и явные 3D-результаты. Это шаг вперёд в давней проблеме синтеза новых ракурсов по разреженным изображениям.

Симуляция пространства-времени

Atlas моделирует пространство и время по входным видео. Он может перекадрировать видео для визуальных эффектов и поддерживает рабочие процессы Real-to-Sim для робототехники.

Генерация изображений

По тексту Atlas может генерировать изображения и 360-градусные панорамы, следуя сложным подсказкам и создавая текст в различных визуальных стилях.

Ключевые технические детали

Модель работает, кодируя входные данные в «пространственный контекст» — каждое изображение привязывается к 3D-позиции. Этот контекст позволяет размещать несвязанные изображения в произвольных 3D-точках, и Atlas сгенерирует мир, который интерполирует между ними (воображая дверные проёмы, коридоры и т. д.). Это обеспечивает длинные управляемые видео: «вы ставите сцену, а не тянете рычаг игрового автомата».

Для кого это

Для разработчиков, работающих в области 3D-контента, симуляции робототехники или для всех, кому нужна управляемая генерация видео по разреженным входным изображениям. Atlas будет лежать в основе будущих версий продукта Marble от World Labs. Ранний доступ доступен на сайте World Labs.