NVIDIA, 루프 구조 4B 모델 Dory1.0-4B 4가지 정밀도로 공개

NVIDIA가 같은 층 묶음을 여러 번 되풀이해 쓰는 40억 매개변수 언어 모델 Dory1.0-4B의 변형 저장소 4곳을 Hugging Face에 올렸다. BF16, MXFP8, NVFP4, GGUF(Q5_K_M) 네 가지 정밀도로 나뉘며, 각 저장소는 2026년 10월 26일(UTC) 수정이 관측됐다. 모델 카드가 적은 출시일은 2026년 10월 16일이다.

라이선스는 OpenMDW License Agreement 1.1이고, NVIDIA는 상업·비상업 용도로 쓸 수 있다고 밝혔다. 지원 언어는 영어이며 컨텍스트 길이는 최대 256K 토큰이다. 지원 하드웨어는 NVIDIA Hopper와 Blackwell, 권장 운영체제는 Linux로 적혔다. Apple Silicon 맥에서 llama.cpp로 돌리는 빌드 절차는 GGUF 모델 카드에 있고, BF16·MXFP8·NVFP4 모델 카드에도 같은 안내가 실려 있다.^1,2,3,4

층을 되풀이하는 구조

Dory는 층 묶음을 입력(I), 반복(R), 출력(O) 세 그룹으로 나눈다. 입력과 출력 그룹은 각각 8층, 반복 그룹은 20층이다. 공유되는 반복 그룹을 입력과 출력 사이에서 여러 번 적용하고, 매 반복마다 입력을 다시 넣는다. 백본은 정규화한 GPT(nGPT)이고, 슬라이딩 윈도 어텐션과 전체 어텐션 층이 번갈아 놓인다.

NVIDIA는 체크포인트 하나로 여러 추론 연산 예산을 맞출 수 있다고 설명했다. 반복 횟수만 바꾸면 재학습이나 모델 교체 없이 연산량과 정확도를 맞바꾼다는 것이다. 반복할수록 같은 문제를 푸는 데 생성하는 토큰이 줄어든다고도 밝혔다. 추가 연산이 긴 출력이 아니라 잠재 공간에서의 사고에 쓰인다는 설명이다.

일반적인 루프 모델은 파라미터를 공유해도 반복마다 KV 캐시를 따로 저장해 반복이 늘수록 메모리가 커진다. Dory는 마지막 반복의 키와 값만 남기는 last-loop 캐시를 지원하며, NVIDIA는 이 캐시를 켜면 반복 횟수와 무관하게 반복하지 않는 동등 모델보다 KV 캐시 부담이 늘지 않는다고 밝혔다. 자체 실험에서 last-loop 방식의 정확도는 반복마다 캐시를 두는 방식에 가깝고 출력 길이도 거의 같았다고 한다.⁴

학습 방식과 변형

사전 학습은 6T 토큰으로 했다. 앞쪽 약 4.5T 토큰은 NVIDIA의 4비트 부동소수점 형식 NVFP4로, 나머지는 BF16으로 학습했다. 이어 300B 토큰으로 컨텍스트를 256K까지 늘렸다. 소프트웨어는 Megatron-LM이다. 데이터는 크롤링 및 합성 코드·수학·과학·일반 지식이며 영어와 프로그래밍 언어 43종을 다룬다.

사후 학습은 NVIDIA가 선별한 SFT 데이터셋으로 미세 조정한 뒤, GRPO 기반 강화 학습을 했다. 수학, 코드, 과학, 지시 따르기, 여러 단계 도구 사용, 다중 턴 대화, 구조화 출력 환경을 함께 썼고, 학습과 추론을 분리한 비동기 구조에 NeMo RL과 NeMo Gym을 썼다. 합성 데이터는 GPT-OSS-120B 같은 오픈 모델에서 추론 과정과 풀이를 뽑아 만들었다. 반복 n-gram이 심한 추론 기록은 걸러냈고, 특정 정치 집단에 치우치거나 민족주의 서사를 담은 기록도 키워드·정규식 필터로 제거했다고 한다.⁴

DGX Spark 측정에서 입력 2,560토큰·출력 300토큰·배치 1일 때 MXFP8은 BF16보다 1.69배, NVFP4는 2.17배 빨랐다. 입력 128토큰·출력 1,024토큰·배치 1에서는 각각 1.84배와 2.44배였다. 벤치마크 수치는 BF16 기준이고, GGUF는 양자화 내보내기라고 모델 카드가 구분했다.^1,4

벤치마크와 반복 횟수

NVIDIA가 NeMo Gym과 Nemo Evaluator SDK 하네스로 직접 측정한 결과, 반복 1회에서 4회로 갈수록 대부분 지표가 올랐다. SWE-bench Verified는 1회 50.3, 2회 59.5, 4회 61.8이었고, Terminal-Bench 2.1은 1회 12.5, 2회 18.1, 4회 22.2였다. GPQA Diamond(도구 없음)는 2회 72.41, 4회 72.16이었고, HLE 텍스트 전용은 2회 10.89, 4회 10.43으로 두 지표 모두 4회가 2회보다 낮았다.⁴

†는 보고된 점수이고, Terminal-Bench 2.1은 모든 모델에 Terminus-2 하네스를 썼다. Artificial Analysis(AA) 계열 점수는 NVIDIA가 일관된 하네스에서 계산한 내부 추정치여서 AA 공식 점수와 다를 수 있다고 모델 카드가 적었다. AA-LCR은 정정된 정답지(v1.1)를 쓰되 심사 모델은 GPT-5.6 Luna 대신 이전의 Qwen3-235B-A22B를 유지했다. GDPval-AA v2의 참고 모델 Elo는 DeepSeek-V4-Pro 1223, Qwen3.6-35B-A3B 992, Qwen3.5-122B-A10B 925, gpt-oss-120b 745로 제시됐다.⁴

실행 방법

NVIDIA는 정확도와 연산의 균형을 위해 반복 2회를 기본 시작점으로 권한다. 반복으로 얻는 정확도 향상 대부분이 두 번째 반복에서 나오고 그 뒤의 향상은 작다는 설명이 붙었다. 토큰당 연산을 최소화하려면 1회, 정확도가 더 중요한 에이전트 작업(Terminal-Bench, SWE-bench 등)에는 4회를 고려하라고 했다. 반복이 늘면 생성 토큰이 줄 수도 있어 실제 작업에서 종단 지연 시간과 비용을 확인하라는 안내도 붙었다.⁴

vLLM에서는 Dory 지원이 vllm-project/vllm#60149에서 검토 중이며 릴리스에 들어가기 전에는 해당 PR에서 설치해야 한다. 서버는 hf-overrides에 n_recurrent_loops와 recurrent_kv_cache_mode를 지정하고, max-model-len 262144, max-num-seqs 128 등으로 띄우는 예가 제시됐다. 메모리가 부족하면 max-model-len을 낮추라고 했다. llama.cpp 지원은 ggml-org/llama.cpp#30306에 있고, 릴리스 전에는 지정된 리비전을 직접 빌드한다. 로컬 서버 예는 컨텍스트 4,096, 반복 2회, 추론 켜기 설정이며 dory.num_loops는 1~4로 바꾼다. last-loop 캐시는 dory.recurrent_kv_cache_mode를 last_loop로 바꿔 켠다.^1,4

권장 샘플링은 온도 1.0, Top-p 0.95다. OpenAI 호환 API로 호출하며, 코딩 에이전트에서는 chat_template_kwargs에 force_nonempty_content를 True로 넣으라는 주의가 있다. 도구 호출은 vLLM에서 qwen3_coder 파서와 nemotron_v3 추론 파서를 쓴다.²

학습 데이터 쪽 한계도 모델 카드에 적혔다. FinePDFs, EssentialWeb 등 데이터셋의 표본 64~99%는 연령·성별·인종을 명시하지 않는다. 언급이 있는 경우 'male'이 'female'보다 많고, 인종 언급 중 'White'가 43~44%로 가장 흔했다. NVIDIA는 편향 감사와 균형 데이터 미세 조정 등을 권했고, 가드레일을 대체 장치 없이 우회하지 말라고 당부했다.⁴