NVIDIA, 로컬 에이전트용 Nemotron 3.5 Bolt 74B BF16 공개

NVIDIA가 비전 언어 모델 Nemotron 3.5 Bolt 74B-A9B의 BF16 전체 정밀도 판을 Hugging Face에 올렸다. 총 매개변수는 74B, 추론 때 활성화되는 매개변수는 9B이며, 일상적인 에이전트 작업을 로컬에서 돌리도록 설계했다고 밝혔다. 모델 카드의 배포일은 2026년 10월 15일(현지시간)이다.

이 BF16 판은 직접 서비스용 추론보다 맞춤화와 사후 학습을 주된 용도로 삼는다. 지연 시간과 처리량을 우선한다면 2비트 양자화로 24GB 메모리에 맞춘 24GB 판을 llama.cpp나 vLLM에서 쓰라고 안내했다. 라이선스는 OpenMDW-1.1이며, 상업과 비상업 용도 모두 쓸 수 있다고 밝혔다.

구조와 사용 조건

구조는 Mamba-2와 트랜스포머를 섞은 하이브리드 LatentMoE(전문가 혼합)에 C-RADIO v4-H 비전 인코더를 붙였다. 입력은 텍스트, 이미지, 영상이고 출력은 텍스트다. 컨텍스트는 최대 256K 토큰이며, 프롬프트와 시각 입력, 대화 기록, 도구 결과, 생성 응답이 이 창을 함께 쓴다. 배포 레시피에 따라 더 작은 창을 쓰기도 한다.

영상은 mp4로 최대 2분까지 받는다. 1080p는 초당 1프레임, 최대 128프레임까지 샘플링하고, 720p처럼 낮은 해상도는 초당 2프레임, 256프레임까지 쓸 수 있다. 지원 언어는 영어, 프랑스어, 스페인어, 이탈리아어, 독일어, 일본어, 힌디어, 한국어, 브라질 포르투갈어, 중국어다. 이 가운데 주력 언어는 영어와 코딩 언어라고 적었다.

배포는 vLLM으로 하며, 배포 항목에는 NVIDIA Ampere(A100), Hopper(H100-80GB), Blackwell 계열 GPU가 지원 대상으로 적혀 있다. 테스트 하드웨어는 Hopper H100·H200, Grace Blackwell GB200·GB300, Blackwell B200·B300이다. 운영체제는 Linux다. 추측 디코딩은 DFlash를 통한 LiLiCorr 드래프터를 쓰고, 제공된 vLLM 레시피는 추측 토큰 7개를 쓴다. 추론 모드는 채팅 템플릿의 enable_thinking 값으로 켜고 끄며, 중간 강도는 medium_effort 옵션으로 고른다. 이 추론 모드 제어와 추천 샘플링(텍스트 기준 온도 1.0, top_p 0.95)은 Super 3.5 VL 클라이언트에서 물려받았다. 추론 토큰과 최종 답은 max_tokens를 함께 쓴다.

같은 저장소에는 24GB 판, GGUF 판, LiLiCorr 드래프터와 그 GGUF 판이 별도 모델로 올라 있다. NVIDIA는 이 BF16 판의 대표 용도로 자체 데이터 사후 학습(SFT, NeMo RL과 NeMo Gym을 쓴 강화 학습, 지식 증류), 도메인 적응, NVFP4·W4A16·GGUF 양자화 판 제작, 전체 정밀도 연구와 평가를 꼽았다.

120B 모델을 줄인 과정

Bolt는 Nemotron 3.5 Super VL 120B-A12B를 압축한 모델이다. NVIDIA가 개발한 Star Elastic 알고리즘으로 구조 탐색과 압축을 한꺼번에 수행했다. 라우터가 층마다 전문가 수와 MoE 중간 폭을 다르게 고르고, 전문가 top-K는 부모 모델의 22에서 9로 낮췄다. 목표는 배치 크기 1, 128K 컨텍스트에서 24GB 미만이다.

구조 탐색은 8K 컨텍스트에서 진행했고 라우터는 처음 8B 토큰 안에 수렴했다. 이후 8K에서 총 72B 토큰, 128K에서 48B 토큰을 더 학습해 압축 복구 학습은 합계 120B 토큰이다. 모델 카드는 Bolt의 학습 데이터 크기를 80B 토큰으로 적었고, 부모 모델의 기반 학습 데이터는 20T 토큰이 넘는다.

압축은 부모 모델의 텍스트 부분에만 적용했다. 그래서 부모의 비전 타워를 다시 붙이고 비전 어댑터만 가볍게 미세 조정했다. 이미지 전용 혼합은 에폭당 약 660만 샘플이고, 영상과 텍스트 전용 데이터는 쓰지 않았다. 이어 비전 비중이 큰 SFT로 비전 성능을 회복하고, 체크포인트 병합과 에이전트 환경 학습, RLHF를 거쳐 최종 BF16 체크포인트를 만들었다. 텍스트 정확도 저하는 거의 없다고 밝혔다.

MCP와 SWE 과제를 겨냥한 end-to-end GRPO는 프롬프트 32개에 프롬프트당 16개를 생성해 배치 크기가 512다. MCP 환경 학습으로 MCP-Atlas 공개 500개 과제 점수가 약 48에서 약 56으로 올랐다. 이후 학습은 커버리지 점수를 더 올렸지만 임계값 기준의 공식 점수로는 이어지지 않았고, 더 오래 학습하면 개선될지는 열린 질문이라고 적었다. SWE-RL 학습은 프롬프트 64개에 각 16개 생성, 단계당 1,024개 궤적, 최대 시퀀스 196,608 토큰, Adam 학습률 3×10⁻⁶으로 돌렸고, PinchBench는 10회 반복 평균 최대 90.4까지 올랐다.

벤치마크 점수

NVIDIA가 모델 카드에 실은 표에서 BF16 판은 GDPVal-AA-V2(31.13), Terminal-Bench 2.1(53.93), GPQA Diamond(88.83) 등 여러 항목에서 가장 높았다. 반면 AA-Omniscience 비환각은 56.14로 Qwen3.6(65.85), Nemotron 3.5 Lightning(68.81), 24GB 판(61.27)보다 낮고, WebArena는 24GB 판보다 낮다. 비교 대상은 Qwen3.6-35B-A3B, Gemma4 26B-A4B, Nemotron 3.5 Lightning 30B-A3B이고, 24GB(IQ2) 판도 함께 실렸다. 아래는 이 중 BF16 판과 24GB 판, Qwen3.6 점수다.

환각을 얼마나 피하는지 보는 AA-Omniscience 비환각 항목은 BF16이 56.14로 Qwen3.6의 65.85와 Nemotron 3.5 Lightning의 68.81보다 낮다. WebArena는 24GB 판이 50.86으로 BF16의 50.25를 근소하게 앞선다. Qwen3.6의 MCP-Atlas는 공개 보고치가 62.8이지만, 표의 51.20은 NVIDIA가 공개 500개 과제로 직접 측정한 값이다.

24GB 판에 대해 NVIDIA는 대부분의 인기 밀집 모델보다 빠르고, 메모리 크기가 비슷한 대부분의 인기 MoE 모델보다 똑똑한 균형을 노렸다고 설명했다.

학습 데이터 구성도 밝혔다. SFT 단계 텍스트 데이터는 Kimi-K3가 생성한 합성 데이터를 줄여 쓴 혼합이고, AIME, GPQA Diamond, Terminal Bench 2.1, SciCode, AA-LCR, APEX, LMArena 같은 벤치마크를 겨냥했다. MCP-Atlas를 겨냥한 GLM 5.2 생성 궤적도 아주 적게 넣었다. 비전 쪽은 ScreenSpot Pro용 약 10.1B 토큰, WebArena용 약 9.5B 토큰 혼합이 중심이다. 학습 데이터에 사용자 입력이나 프롬프트는 쓰지 않았다고 밝혔다.

NVIDIA는 이미지와 영상에 사람이나 개인 건강 정보, 지식재산이 있으면 모델 출력이 이를 흐리게 처리하지 않으므로 입력물의 권리를 확인하라고 안내했다. 제공된 안전 장치를 우회하지 말고, 배포 전 사용 사례별 데이터로 추가 검증하라고도 권고했다.