NVIDIA, 3D 복원 보정 모델 ArtiFixer 저장소 올렸다…1.3B는 GPU 1대 4단계 34.38FPS

NVIDIA가 3D 복원 결과물을 보정하고 확장하는 모델 ArtiFixer의 저장소를 Hugging Face에 올렸다. 저장소는 2026-06-04에 만들어졌고 2026-10-22 한국 시각 16시 21분에 새 저장소로 처음 관측됐다. 원문 Release Date에는 14B 변형이 2026-06-04, 1.3B 변형이 2026-07-21에 이미 공개됐다고 적혀 있어, 이번에 새로 관측된 것은 저장소이며 이 시각을 공개 발표 시각과 같다고 단정할 수는 없다.

ArtiFixer는 적은 단계로 프레임을 순차 생성하는 인과적 자기회귀 모델로, NVIDIA의 Spatial Intelligence Lab이 개발했다. 증류를 거친 모델과 그 원본 역할을 하는 양방향 교사 모델을 Wan2.1 14B, Wan2.1 1.3B, Cosmos3-Nano 세 변형으로 제공한다. 라이선스는 NVIDIA License를 따르며 연구와 개발 용도로만 쓸 수 있고, 지원 운영체제는 Linux다.

변형과 체크포인트

증류를 마친 3단계(S3) 체크포인트는 artifixer-14b.pt, artifixer-1.3b.pt, artifixer-cosmos3-nano.pt다. 저장소에는 각 모델의 증류 출발점인 1단계 양방향 확산 모델 교사 체크포인트(artifixer-s1-14b.pt, artifixer-s1-1.3b.pt, artifixer-s1-cosmos3-nano.pt)도 들어 있다. 교사 모델은 완전한 양방향 어텐션과 여러 단계의 표준 확산 샘플링을 쓰며, 증류와 샘플링, 긴 롤아웃 동작을 연구하거나 증류 단계를 재현하는 출발점으로 제공된다.

Wan 기반 두 변형의 모델은 ArtifixerTransformer이며 Wan2.1의 WanTransformer3DModel 위에 만들었다. Cosmos3-Nano 변형은 Cosmos3OmniTransformer 기반의 ArtifixerCosmos3Transformer를 쓴다. 토큰 ID 프롬프트와 SCoPE 카메라 조건을 사용하고, 참조 이미지와 목표 이미지가 셀프 어텐션을 공유한다. 내보낸 체크포인트에는 트랜스포머 가중치만 들어 있어 VAE, 토크나이저, 설정은 고정된 기반 모델 리비전에서 따로 불러와야 한다.

입출력과 속도

입력은 불완전한 3D 표현에서 렌더링한 RGB와 불투명도 맵, 카메라 레이 맵, 텍스트 프롬프트이며 카메라 내부 파라미터와 자세가 필요하다. 출력은 보정된 2D RGB 프레임이다.

평가는 DL3DV, Nerfbusters, Mip-NeRF 360(M360), Tanks and Temples(TandT) 네 벤치마크에서 3, 6, 9장만 입력하고 나머지 프레임을 평가하는 희소 시점 방식으로 했다. 프로토콜은 벤치마크마다 다르다. M360은 Cat3D, Nerfbusters와 DL3DV는 Difix3D+, TandT는 ReconX의 방식을 따랐고, DL3DV에는 자체 평가 분할도 따로 만들었다. TandT와 다중 시점 일관성 결과는 논문에 실려 있으며 저장소 표에는 없다.

학습 데이터와 평가

학습 데이터는 DL3DV-10K(DL3DV-ALL-960P)의 3D 복원 데이터에 텍스트 캡션을 붙인 것이다. 카메라 자세는 COLMAP으로 추정하고 복원은 3DGUT로 만들었으며, 캡션은 Qwen3-VL-30B-A3B-Instruct가 생성하고 미터 단위 스케일은 MoGe로 추정했다. 이미지는 100만 장 미만, 텍스트는 10억 토큰 미만이다.

평가는 DL3DV, Nerfbusters, Mip-NeRF 360(M360), Tanks and Temples(TandT) 네 벤치마크에서 3, 6, 9장만 입력하고 나머지 프레임을 평가하는 희소 시점 방식으로 했다. 프로토콜은 벤치마크마다 다르다. M360은 Cat3D, Nerfbusters와 DL3DV는 Difix3D+, TandT는 ReconX의 방식을 따랐고, DL3DV에는 자체 평가 분할도 따로 만들었다. TandT와 다중 시점 일관성 결과는 논문에 실려 있으며 저장소 표에는 없다. 아래는 저장소가 밝힌 주요 수치다.

자체 DL3DV 평가 분할에서 새 내용을 생성하는 과제는 1.3B가 PSNR 19.12, FID 16.24, 14B가 PSNR 20.27, FID 12.33이다. Cosmos3-Nano는 같은 분할에서 S1(양방향 50단계, CFG 5)이 PSNR 19.17, FID 13.47이고, S3(EMA700, KV 캐시 4단계)는 PSNR 19.58, FID 11.75다. 이 평가는 참조 시점 6개, 장면 28개, 평가 프레임 9,619개를 썼다. 기존 Wan 수치는 원래 평가 프로토콜을 유지한다.

Cosmos3-Nano의 S1과 S3 두 체크포인트는 BF16으로 H100 80GB GPU에서 평가했고, GPU 4대가 서로 독립된 샘플을 하나씩 나눠 처리했다. S1은 소스 프레임을 최대 81개씩 묶어 처리했으며 S3는 전체 궤적을 한 번에 롤아웃했다. 시드는 둘 다 42다. 이 조건은 Cosmos3-Nano 평가에만 해당한다.

실행 환경과 비용

ArtiFixer는 PyTorch 기반이며 CUDA 환경이 필요하다. 지원 GPU 아키텍처는 NVIDIA Ampere, Hopper, Blackwell이다. CUDA 12와 13용 Dockerfile이 있고 x86_64와 aarch64를 모두 지원한다. torchrun이나 accelerate로 여러 GPU에서 실행하며 flash-attn, accelerate, diffusers, transformers가 필요하다. 플래시 어텐션은 Hopper에서 FA3, Blackwell에서 FA4를 쓰고 Ampere에서는 PyTorch SDPA(cuDNN)로 대체한다. 시험 하드웨어는 A100 80GB, H100, GB200이다.

Cosmos3-Nano 체크포인트는 FP32 기준 하나가 약 63.2GB다. BF16 트랜스포머 가중치만 31.6GB를 차지하며 VAE, 활성값, KV 캐시 메모리는 별도다. 각 체크포인트 옆에 .metadata.json 파일을 함께 두어야 한다. S3는 KV 캐시 4단계에 블록/윈도/싱크 크기 7/21/7 잠재 프레임으로 실행한다.

기반 모델의 라이선스는 따로 적용된다. Wan 2.1 14B와 1.3B는 Apache License 2.0, Cosmos3-Nano는 Open MDW 1.1 License를 따른다. 사용 지역은 전 세계(Global)로 표기돼 있다. NVIDIA는 파운데이션 모델을 시스템에 넣을 때 사용 사례별 데이터로 추가 시험이 필요하다고 안내했다.