NVIDIA, 이미지 이해·생성 합친 NLD-Uni 8B 모델 Hugging Face 공개

NVIDIA가 이미지 이해와 이미지 생성을 한 모델에서 처리하는 멀티모달 모델 Nemotron-Labs-Diffusion-Uni-8B(NLD-Uni)를 Hugging Face에 올렸다. 저장소는 2026-10-05에 만들어졌고 마지막 수정은 2026-10-22이다. 변경이 처음 관측된 시점은 2026-10-27 00:57(한국 시각)이어서 공개 발표 시각과 같다고 단정할 수 없다.

사용 조건은 NVIDIA Open Source License Agreement이며, 배포 지역은 전 세계이되 라이선스 조건을 따른다. 모델 카드는 용도를 연구와 평가로 적었다. 모델 카드에 적힌 릴리스 날짜는 GitLab 기준 2026-10-17이다.

NLD-Uni는 확산 언어 모델에 시각 처리 전용 구성요소를 붙이고 mixture-of-transformers 구조를 쓴다. 이해와 생성은 같은 멀티모달 틀 안에서 서로 다른 트랜스포머 매개변수 경로를 쓴다. 언어 모델의 바탕은 Nemotron 확산 언어 모델이다. 모델 버전 항목에는 LaVida-O를 기반으로 한 구조라고 적혀 있고, 이전 LaVida-O나 이미지 전용 확산 모델의 결과는 원래 모델 이름을 그대로 써야 한다고 덧붙였다.

작동 방식과 지원 기능

이미지 이해에서는 이미지를 연속적인 시각 특징으로 바꿔 텍스트 답변을 만든다. 이미지 생성에서는 이산적인 시각 토큰을 반복적인 확산 과정으로 모델링하고, 이를 RGB 이미지로 복원한다. 텍스트는 자기회귀 방식과 블록 단위 확산 디코딩을 모두 지원한다. 이미지 조건 생성과 편집은 체크포인트와 추론 구현이 지원할 때 쓸 수 있다.

입력은 텍스트와 이미지다. 출력은 이해 작업에서 텍스트 문자열이나 토큰 ID, 생성 작업에서 이미지 객체나 텐서를 추론 API가 돌려준다. UTF-8 JSON(텍스트)과 PNG(RGB 이미지)는 validate.py가 구현한 직렬화 형식이다. 모델 카드가 꼽은 용도는 시각 질의응답과 이미지 기반 추론, 문서·차트·장면 속 글자 이해, 화면 요소 위치 찾기, 텍스트-이미지 생성, 이미지 조건 생성과 편집이다.

문맥 길이, 이미지 해상도, 시각 토큰 예산, 전처리는 체크포인트와 작업에 따라 다르다. 지원 한계는 공개된 추론 설정이 정하며, 아키텍처 차원의 900토큰 프롬프트 제한은 지정돼 있지 않다. 1,024×1,024 이미지 생성 설정은 구현돼 있으며, 검증된 해상도는 릴리스에서 밝혀야 한다고 모델 카드는 적었다.

실행 환경

Python 3.13과 CUDA 12.6 환경에서 requirements.txt의 의존성을 설치하고, PyTorch를 먼저 깐 뒤 flash-attn 2.8.0.post2를 빌드하라고 안내한다. NVIDIA H100 80GB에서 검증했다. BF16 가중치 조각 8개에 활성 텐서 1,557개가 모두 들어 있고, 해시는 weights_manifest.json에 기록돼 있다.

Transformers의 AutoModelForCausalLM을 trust_remote_code=True로 불러 쓴다. text_to_image는 프롬프트와 시드로 이미지를 만들고, image_edit는 이미지와 지시문으로 편집하며, generate는 이미지에 대한 질문에 답한다. 이미지는 Pillow 객체나 로컬 경로로 넣고, 이미지 메서드는 Pillow 이미지를 돌려준다. inference.py로 t2i, edit, understand 작업을 명령줄에서 실행할 수도 있다.

기본 실행 엔진은 PyTorch다. 이미지 이해와 텍스트 생성 경로에는 SGLang 연동이 있고, NLD-Uni/LaVida RADIO-H 어댑터를 쓴다. 모델 카드는 이것이 이미지 생성 경로의 SGLang 지원을 뜻하지는 않는다고 적었다. 기준 플랫폼은 NVIDIA GPU가 달린 Linux다.

학습 데이터와 한계

학습 데이터는 이미지-텍스트 쌍 1억 개 이상이다. 수집은 자동, 수작업, 합성을 섞었고 라벨링도 자동, 수작업, 합성을 혼합했다.

모델 카드에 실린 검증은 기능 확인용 스모크 테스트다. 일상 사물, 동물, 풍경의 합성 장면 3건을 validate.py로 돌려 생성 이미지와 답변을 사람이 눈으로 살폈고, 결과는 VALIDATION.md, validation.json, examples/results.json에 있다. 이는 벤치마크 정확도 측정이 아니라고 카드가 밝혔다.

카드는 평가 스위트가 명시해야 할 벤치마크 목록을 권고 형식으로 제시했다. 이해 쪽은 MathVista_MINI(1,000문항 전체 정확도), MMMU_DEV_VAL(개발·검증 분할 별도 보고), AI2D_TEST, ChartQA_TEST(완화 정확도), DocVQA_VAL과 InfoVQA_VAL(ANLS), TextVQA_VAL, RealWorldQA, ScienceQA_TEST, ScreenSpot-Pro(점 위치 지정(point-localization) 정확도), RefCOCO(val·testA·testB의 IoU 0.5 이상 정확도), OCRBenchV2-EN이다. 생성 쪽은 GenEval, DPG-Bench, MJHQ-30K(FID)다. 이는 평가를 실제로 수행했다는 뜻이 아니며, 카드에는 점수가 실려 있지 않다.

NLD-Uni는 틀린 텍스트와 부정확한 위치 좌표를 낼 수 있고, 생성 이미지가 프롬프트를 완전히 따르지 않을 수 있다. 학습 데이터의 편향이 반영되거나 부적절한 내용이 나올 수 있다. 이미지 조건 출력은 사용자가 지키려던 세부를 바꿀 수 있고, 생성·편집 이미지는 인물, 글자, 비율, 장면 디테일을 바꿀 수 있다. NVIDIA는 입력 이미지에 대한 권리 확보와 배포 전 안전장치 마련을 사용자 책임으로 두었다.

공개된 것이 모델 카드와 구현이고 점수표가 없으므로, 이해와 생성을 한 8B급 모델로 묶었을 때 기존 전용 모델과 견줘 어느 수준인지는 이 자료만으로 판단하기 어렵다. 도입을 검토하는 팀은 자신의 과제와 데이터로 직접 평가해야 한다.