Tencent Hy-Nomas 공개, 텍스트·카메라로 이어 만드는 월드 생성

Tencent가 영상 월드 생성 모델 Hy-Nomas의 저장소를 Hugging Face에 올렸다. 텍스트 지시와 카메라 조작으로 여러 차례에 걸쳐 장면을 바꿔 가며 세계를 한 구간씩 이어 만드는 모델이다. 사용자는 생성 중간에 사물을 넣거나 화풍과 장면을 바꾸고, 행동을 지시하거나 시점을 움직일 수 있다. 저장소 생성 시각은 2026-10-21T02:17(UTC), 마지막 수정 시각은 2026-10-23T11:18(UTC)이다.

증류한 추론 설정은 디노이징 8단계로 720×1280 해상도, 24FPS 영상을 낸다. NVIDIA GeForce RTX 4090 한 장에서 돌리는 별도 설정 파일이 있으며, 이 설정에는 INT8 DiT 체크포인트와 FP8 PixelUMM 체크포인트 쌍이 필요하다. 라이선스는 Apache License 2.0이며, 서드파티 모델과 구성 요소는 각자의 라이선스를 따른다.

구성과 작동 방식

모델은 구간 단위 자기회귀 확산 트랜스포머(DiT), Qwen 텍스트 인코더, 카메라 조건 모듈, PixelUMM 영상 디코더로 이뤄진다. 압축된 영상 잠재 공간에서는 확산을, 영상 구간 사이에서는 자기회귀를 수행한다. 새 구간은 가우시안 노이즈에서 시작하며, 텍스트와 카메라 움직임, 캐시에 쌓인 이전 기록이 생성을 조건짓는다. 구간 사이의 맥락은 KV 캐시가 전달한다.

텍스트 인코더는 Qwen2.5-VL-7B-Instruct의 언어 모델 부분이다. 3,584차원 은닉 상태가 2층 토큰 정제기를 지나 DiT의 2,048차원 공간으로 투영된다. 카메라는 4×4 외부 행렬을 영상 4프레임 단위로 묶어 64차원 입력으로 펼치며, 각 이중 스트림 블록에서 영상 토큰이 크로스 어텐션으로 카메라 특징을 참조한다.

백본은 54개 이중 스트림 블록으로 된 밀집 MMDiT다. 은닉 크기는 2,048, 어텐션 헤드는 16개다. 블록 안에서 텍스트와 영상은 구간 단위 인과 결합 어텐션으로 상호작용하고, 영상 위치는 3D RoPE로 표현한다. 어텐션이 구간 사이에서 인과적이라 현재 구간을 만들 때 미래 구간은 필요 없다. 출력부는 영상 스트림만 써서 잠재 공간의 흐름 속도를 예측하고, 샘플러는 Euler ODE를 쓴다.

영상은 DCAE-V f32t4c32 잠재 표현을 쓴다. 채널은 32개, 공간은 가로세로 각각 32배, 시간은 4배 압축한다. 기본 디코더인 미세조정 PixelUMM은 36층, 은닉 4,096차원 트랜스포머로, 잠재 프레임 10개 창을 5개씩 겹쳐 한 단계로 복원한다. 이 복원은 DiT의 8단계 디노이징과 별개다.

설치와 실행 조건

기본 설정은 8방향 시퀀스 병렬과 분산 PixelUMM 디코딩을 써서 한 추론 그룹에 GPU 8장이 필요하다. 해상도는 inference.video_size로 바꿀 수 있고 예시는 480×832다. 카메라 제어는 c2ws 행렬 [N,4,4]와 내부 파라미터 [N,3,3]를 담은 궤적 파일을 붙여 쓴다.

단일 GPU 설정은 DiT 가중치와 캐시된 키·값을 INT8로 저장하고, 디코더는 FP8로 두며, 텍스트 인코더·DiT·디코더를 처리 단계마다 GPU로 옮겼다가 CPU로 되돌린다. GPU에 올리는 과거 기록은 잠재 프레임 18개까지로 제한하고 나머지는 CPU에 보관한다. DiT에는 FlexAttention, 디코더에는 CUTLASS FP8을 쓴다. 이 예산은 과거 맥락에만 적용되고 현재 구간 길이는 제한하지 않아 최대 GPU 메모리는 해상도와 구간 길이에도 좌우된다. 시스템 RAM은 오프로드한 모델을 감당해야 하며, CPU와 GPU 사이 전송은 지연 시간을 늘린다. INT8 로더는 추론 때 별도 LoRA 어댑터를 불러오지 못한다.

표준 설정은 전체 기록을 유지하므로 생성이 길어질수록 캐시 메모리가 늘어난다. 단일 GPU 설정은 GPU 쪽 기록을 제한하는 대신 CPU 보관분이 계속 커질 수 있다. 24FPS는 출력 영상의 재생 프레임 속도이고, 생성 속도는 하드웨어와 해상도, 구간 길이, 기록, 설정에 따라 달라진다.

환경은 Linux가 전제다. Tencent는 PyTorch와 필요한 CUDA 어텐션 커널이 든 Docker 이미지를 권장하고, 수동 설치는 Python 3.12 이상, uv, CUDA 13.0 툴킷이 필요하다고 안내한다. 프롬프트는 구간별 시작·종료 시각이 든 JSON 목록으로 쓰며, 첫 구간은 초기 세계를, 이후 구간은 description_change로 변화를 설명한다.

체크포인트와 벤치마크

Tencent는 벤치마크 Hy-Nomas-Bench도 함께 공개했다. 다중 턴 자유 텍스트 상호작용, 카메라 이동, 텍스트와 카메라를 섞은 제어, 공간 기억을 다루는 4종, 280건으로 구성되며, 연속 생성 중 제어 가능성과 일관성을 본다. 구조화된 프롬프트, 상호작용 순서, 키보드 타임라인, 기준 카메라 궤적을 제공한다. 저장소는 아키텍처와 샘플링 기본값이 설정 세부 사항이며 벤치마크 결과가 아니라고 밝혔다.

웹 데모는 Nomas-PE가 필요하고 서빙 자원이 따로 들기 때문에, 저장소가 말하는 단일 GPU 구동은 영상 추론에만 해당한다. 데모는 구간 경계에서 스트리밍 디코딩을 켠다. 오프라인 추론은 준비한 프롬프트 파일을 직접 읽는다.