NVIDIA, 인코더 없이 이미지·영상 이해와 생성을 하나로 묶은 PixelUMM 저장소 게시

NVIDIA가 이미지와 영상을 이해하고 만드는 일을 하나의 모델로 처리하는 PixelUMM의 저장소를 Hugging Face에 올렸다. 저장소는 2026-10-01(UTC)에 만들어졌고 2026-10-15(UTC)에 마지막으로 수정된 것으로 관측됐다. 이 모델은 사전 학습된 별도 비전 인코더를 두지 않고, 이미지를 픽셀 패치 그대로 받아 처리한다. 이해와 생성이 같은 트랜스포머 표현을 공유하는 구조다.

모델 가중치는 NVIDIA One-Way Noncommercial License 아래 비상업 연구와 평가 목적으로만 쓸 수 있다. 소스 코드는 Apache License 2.0이다. 실행하려면 Linux, NVIDIA GPU, CUDA용 PyTorch 빌드, FlashAttention이 필요하다.

구조와 입출력

PixelUMM은 디코더 전용 트랜스포머이며, 원본 픽셀 패치 임베딩을 입력으로 쓰고 반복적 픽셀 생성 헤드(iterative pixel-generation head)를 갖춘다. 언어 백본은 Qwen/Qwen3-8B이고, RGB 이미지를 16×16 픽셀 패치로 나눈다. 이미지와 영상은 디노이징을 반복해 생성하며, 전체 파라미터는 15,199,672,064개다.

입력은 텍스트, RGB 이미지, 영상 프레임이고 출력은 텍스트, RGB 이미지, 영상 프레임이다. 지원하는 작업은 텍스트-이미지 생성, 이미지를 보고 글을 쓰는 작업, 영상 이해, 영상 생성이다.

용도와 한계

NVIDIA는 통합 멀티모달 모델링, 픽셀 공간 표현 학습, 인코더 없는 구조의 평가를 연구하는 연구자와 개발자를 대상으로 제시했다. 상용이나 중요도가 높은 용도로는 검증하지 않았다고 밝혔다.

NVIDIA는 부정확하거나 부적절한 내용이 나올 수 있고, 프롬프트를 안정적으로 따르지 못하거나 의미·시간 흐름이 어긋난 결과가 나올 수 있다고 적었다. 성능은 언어, 시각 영역, 영상 길이, 해상도, 화면 비율, 하드웨어에 따라 달라질 수 있다. 사용자는 콘텐츠 필터링, 오남용 모니터링, 접근 통제를 갖춰야 하고 입력물의 권리 확보와 법령 준수도 직접 책임진다.

Qwen3-8B 기본 모델은 Apache-2.0이고, 코드에는 BAGEL에서 가져와 고친 부분이 들어 있다. 상위 라이선스 준수 책임은 사용자에게 있다.