NVIDIA, 시뮬레이터 영상을 실사로 바꾸는 Cosmos3-Nano-Sim-Transfer 공개

NVIDIA가 2026년 10월 20일 Hugging Face와 GitHub에 Cosmos3-Nano-Sim-Transfer를 공개했다. 기반 모델 Cosmos3-Nano를 사후 학습하고 인과적 증류를 거쳐 적은 단계로 영상을 생성하도록 만든 변형 모델이다. 학습 가능한 매개변수는 160억 개이고, 라이선스는 OpenMDW1.1이다.¹

이 모델은 시뮬레이터가 렌더링한 깊이 맵, 분할 마스크, 윤곽 맵, 흐림 처리 이미지 같은 제어 영상과 텍스트 프롬프트를 받아 실사 RGB 영상을 만든다. NVIDIA Isaac Lab 같은 시뮬레이터와 실시간으로 연동하도록 설계됐다. 입력 장면의 기하 구조와 움직임은 시뮬레이터가 지정한 대로 유지된다. 실행 환경은 Linux이고, 다른 운영체제는 시험하지 않았다.¹

시뮬레이터와 역할을 나눠 맡는다

물리 계산, 장면 상태, 정답 주석은 시뮬레이터가 계속 맡고, 모델은 겉모습만 생성한다. 그래서 시뮬레이터에서 개발한 정책을 실사 같은 관측값으로 학습하고 평가하더라도 내부 시뮬레이션과 정답 상태는 바뀌지 않는다고 NVIDIA는 설명했다.

영상은 작은 잠재 프레임 묶음 단위로 생성된다. 저장된 이전 기록, 새로 들어오는 시뮬레이터 제어값, 텍스트 프롬프트를 조건으로 삼는 방식이며, 시뮬레이터가 물리 상태를 유지하는 폐루프 정책 학습과 평가를 뒷받침한다.

출력은 MP4 또는 스트리밍 영상 프레임이며, 480p 해상도에 초당 30프레임으로 최대 600프레임을 만든다. 한 대의 GB200 GPU에서 최대 8개 환경을 병렬로 실시간 배치 추론하도록 설계됐다. 추론 처리량은 하드웨어와 생성 설정, 배치 크기에 따라 달라진다.¹

성능과 학습 데이터

NVIDIA는 PAI-Bench-C(TransferBench)에서 기반 모델 Cosmos3-Nano와 비교했다. 영상 품질은 DOVER로, 제어 충실도는 분할 mIoU, 흐림 SSIM, 윤곽 F1, 깊이 SI-RMSE 네 지표로 쟀다.¹

후속 학습 데이터는 영상 1만 시간 미만과 텍스트 10억~10조 토큰 규모다. 전체 1.3B개 데이터 포인트, 393개 데이터셋 항목이며 수집 기간은 2024~2026년이다. 합성 데이터에는 HiDream-I1과 Qwen-Image-2512로 만든 이미지, Qwen3-VL로 만든 캡션이 들어간다.¹

실행 방법과 속도

vLLM-Omni 기준으로 GPU 한 대에서 잰 처리량은 GB200 24.5, H100 14.6, H200 14.9, H20 4, RTX Pro 6000 8.3이다. 단위는 자료에 적혀 있지 않다.

공식 빠른 시작 예제는 GB200 한 대에서 Docker와 NVIDIA Container Toolkit으로 vLLM-Omni 서버를 띄운 뒤, 깊이 제어 영상 600프레임을 30fps, 640×640으로 만든다. 예제는 30프레임 기록 창과 3개의 어텐션 싱크를 쓴다. 예시 명령에는 --no-guardrails 옵션이 들어 있고, 이 옵션은 Cosmos3의 텍스트·영상 안전 검사(가드레일)를 끈다.

NVIDIA는 입력 이미지와 영상에 대한 권리와 허가를 사용자가 갖춰야 한다고 안내했다. 사람이나 지식재산이 담긴 입력은 생성 영상에서 흐려지거나 비율이 유지되지 않는다. 학습 데이터에서 유해 콘텐츠를 모두 걸러낼 수는 없으며 드문 사례에서 위험이 남을 수 있다고도 밝혔다.¹

같은 계열의 양팔 로봇용 변형 모델

같은 Cosmos3 예제 모음에는 양팔 로봇용 Cosmos3-Nano-Sim-Bimanual도 있다. 초기 이미지와 로봇 동작, 카메라 궤적을 받아 환경 변화를 영상으로 만들며, 정책 평가와 검증, 강화 학습, 원격 조작 없는 합성 시연 데이터 생성에 쓴다. 지원 로봇은 AgiBot이고 출력은 480p, 30fps다.

이 모델은 카메라 이동 벤치마크 PAI-Bench-G에서 LingBot-World 2.0, Sana-WM보다 영상 품질 점수가 높았다. 73.9099 대 65.3577, 65.2090이다. 카메라 위치 오차(ATE)는 LingBot-World 2.0이 4.1698로 더 낮았고 Bimanual은 4.7072였다. 로봇 조작 평가에서는 AgiBot-World 기준 영상 품질 76.0884로 DreamDojo 2B(74.5327), 14B(74.9390)를 앞섰다.

이 저장소는 10월 22일 변경이 관측됐고, 처리량은 480p 기준 GB200 54.1프레임/초, H100 32.6, H200 32.4, H20 10.7, RTX Pro 6000 20.6이다.²

Sim-Transfer는 시뮬레이터가 실제 장면의 구조를 이미 갖고 있을 때 그 위에 실사 질감을 입히는 쓰임에 맞는다. 정답 상태가 바뀌지 않으므로 시뮬레이터 주석을 그대로 학습에 쓸 수 있다는 점이 장점이다. 벤치마크는 NVIDIA가 직접 낸 수치여서 독립 검증은 별도로 필요하다.¹