Atlas: World Labs의 공간 지능을 위한 옴니 월드 모델

World Labs가 공간 지능을 위한 Atlas를 발표했습니다. Atlas는 텍스트, 이미지, 비디오, 3D를 기본적으로 처리하도록 처음부터 사전 훈련된 '옴니 월드 모델'로, 모든 입력을 공유된 공간 컨텍스트로 결합합니다. 이는 멀티모달 자동회귀 확산 트랜스포머로, 학습한 3D 지오메트리와 일치하는 출력을 생성하며 입력 프레임 너머를 상상할 수도 있습니다.

Atlas가 할 수 있는 일

Atlas는 세계 생성, 재구성, 시뮬레이션의 세 가지 핵심 작업을 처리하도록 설계되었습니다.

카메라 제어 생성

Atlas는 1~6개의 참조 이미지에서 정밀한 카메라 제어로 이미지와 비디오를 생성합니다. 카메라 경로를 지정하면 되며, 텍스트 기반 프롬프트는 필요 없습니다. 최대 1440p 해상도에서 1분 길이의 비디오를 출력합니다. 단일 이미지에서 장면의 보이지 않는 부분(예: 로봇의 뒷면, 수영장 옆 잔디)을 외삽할 수 있습니다.

공간 재구성

Atlas는 1~수십 개의 입력 이미지에서 실제 장면을 재구성합니다. World Labs에 따르면, 최첨단 3D 재구성 모델보다 성능이 뛰어나며 새로운 시점 프레임과 명시적 3D 출력을 모두 생성합니다. 이는 희소 이미지에서 새로운 시점 합성이라는 수십 년 된 문제에서 한 걸음 나아간 것입니다.

시공간 시뮬레이션

Atlas는 입력 비디오에서 공간과 시간을 모델링합니다. 비디오를 다시 프레임하여 시각 효과를 적용할 수 있으며, 로봇 공학을 위한 Real-to-Sim 워크플로우를 지원합니다.

이미지 생성

텍스트에서 Atlas는 복잡한 프롬프트를 따르고 다양한 시각적 스타일로 텍스트를 렌더링하며, 이미지와 360 파노라마를 생성할 수 있습니다.

주요 기술 세부 사항

이 모델은 입력을 '공간 컨텍스트'로 인코딩하여 작동합니다. 각 이미지는 3D 위치에 고정됩니다. 이 컨텍스트를 사용하면 관련 없는 이미지를 임의의 3D 위치에 배치할 수 있으며, Atlas는 그 사이를 보간하는 세계를 생성합니다(예: 출입구, 복도 등을 상상). 이를 통해 길고 제어 가능한 비디오가 가능해집니다: "장면을 연출하는 것이지, 슬롯 머신의 레버를 당기는 것이 아닙니다."

대상 사용자

3D 콘텐츠 제작, 로봇 시뮬레이션에 종사하는 개발자, 또는 희소 이미지 입력에서 제어 가능한 비디오 생성이 필요한 모든 사람을 대상으로 합니다. Atlas는 World Labs의 Marble 제품의 향후 버전에 사용될 예정입니다. 조기 액세스는 World Labs 사이트에서 가능합니다.