NVIDIA, 24GB에서 도는 Nemotron 3.5 Bolt 74B 공개

NVIDIA가 Hugging Face에 Nemotron 3.5 Bolt 74B-A9B 24GB 모델을 공개해, 24GB 메모리 안에 들어가는 비전 언어 모델로 로컬 에이전트 작업을 돌릴 수 있게 됐다. 텍스트, 이미지, 영상을 입력으로 받아 텍스트를 내놓는다.

모델 카드에 적힌 Hugging Face 공개일은 2026년 10월 15일이다. 라이선스는 OpenMDW 1.1이며, 상업 용도와 비상업 용도 모두 쓸 수 있다고 NVIDIA는 밝혔다. 실행 환경은 vLLM이고, 배포 항목에는 NVIDIA Ampere(A100), Hopper(H100 80GB), Blackwell 계열 GPU가 올라 있다. 운영체제는 Linux다.

총 매개변수는 740억 개이고, 한 번에 쓰는 활성 매개변수는 90억 개다. 구조는 Mamba-2와 트랜스포머를 섞은 하이브리드 LatentMoE(전문가 혼합)이며, 이미지와 영상 프레임은 C-RADIO v4-H 인코더가 처리한다. 정밀도는 양자화 인식 학습을 거친 2비트(IQ2)이고, 모델 크기는 24GB다. 컨텍스트 창은 최대 256K 토큰이다. 프롬프트, 시각 입력, 대화 기록, 도구 결과, 생성 응답이 이 창을 함께 쓴다.

NVIDIA는 속도와 지능의 균형을 겨냥했다고 설명하면서, 대부분의 인기 밀집 모델보다 빠르고 메모리 규모가 비슷한 대부분의 인기 MoE 모델보다 똑똑하다는 취지로 소개했다. 용도는 도구 호출, 웹 탐색, 터미널 사용 같은 에이전트 작업이며, 주 언어는 영어와 코드다. 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어도 지원한다고 적었다. 입력 언어 목록에는 한국어도 들어 있다.

120B 모델을 줄여 만든 방식

Bolt는 NVIDIA의 Nemotron 3.5 Super VL 120B-A12B를 압축한 모델이다. NVIDIA가 개발한 Star Elastic 알고리즘이 라우터로 구조를 탐색해, 층마다 전문가 수와 MoE 중간 폭을 다르게 고른다. 전문가 top-K는 부모 모델의 22에서 9로 낮췄다. 탐색 목표는 배치 크기 1, 컨텍스트 128K에서 메모리 24GB 이하였다. 압축 단계에서 처리한 토큰은 모두 1,200억 개로, 8K 컨텍스트에서 720억 개, 128K 컨텍스트에서 480억 개다.

압축은 부모 모델의 텍스트 부분에만 적용했다. 그래서 비전 어댑터를 따로 학습했고, 이미지 위주로 약 660만 샘플 규모의 데이터를 썼다. 영상과 텍스트 전용 데이터는 이 단계에 쓰지 않았다. 이어 비전 비중이 큰 지도 미세 조정과 체크포인트 병합을 거쳤고, 에이전트 환경 학습과 인간 피드백 강화 학습을 더했다. NVIDIA는 텍스트 정확도 하락이 거의 없다고 밝혔다.

강화 학습 단계에서는 MCP와 소프트웨어 엔지니어링 과제를 GRPO로 학습했다. MCP-Atlas 공개 500개 과제에서 점수가 약 48에서 약 56으로 올랐다고 한다. 학습을 더 이어도 채점 기준(coverage 0.75 임계값)을 넘는 공식 점수는 오르지 않았다. 소프트웨어 엔지니어링 학습의 최적화 알고리즘은 Adam, 학습률은 3×10⁻⁶이다.

양자화는 마지막 단계다. 전문가 가중치를 IQ2-XXS로 줄여 원소당 2.0625비트로 만들었고, 정확도 회복에는 양자화 인식 증류를 썼다. Mamba 층은 NVFP4, 임베딩과 출력 층은 Q8_0으로 남겼다. 낮은 배치 크기에서는 가중치 압축률에 비례해 커널 지연 시간이 줄어 추론 속도가 크게 오른다고 NVIDIA는 설명했다.

성능 수치와 실행 방법

아래 수치는 NVIDIA가 모델 카드에 올린 자체 비교다. 비교 대상은 Qwen3.6-35B-A3B BF16, Gemma4 26B-A4B-IT BF16, Nemotron 3.5 Lightning 30B-A3B BF16이다. Qwen3.6-35B-A3B의 MCP-Atlas는 공개 점수가 62.8이지만 NVIDIA가 공개 과제 500개로 직접 측정해 51.2를 적었다.

표의 아홉 개 가운데 Bolt는 여섯 개에서 가장 높다. PinchBench는 Qwen3.6-35B-A3B(88.07)에 근소하게 뒤진다. AA-Omniscience 정확도는 Gemma4(22.17)와 Qwen3.6(19.47)에, 비환각 점수는 Lightning(68.81)과 Qwen3.6(65.85)에 못 미친다. 이 외에 GDPVal-AA-V2, Tau3 Banking, SciCode, AA-LCR에서도 Bolt가 가장 높은 점수를 냈다.

실행은 vLLM 서버로 한다. 모델 카드는 vLLM 야간 빌드 도커 이미지, b12x 커널 설치, 추론 파서 플러그인 내려받기를 안내한다. 권장 설정은 텐서 병렬 1, 최대 길이 262144, 동시 시퀀스 1이다. 다만 개별 배포 레시피는 GPU 메모리와 동시 처리량에 맞춰 이보다 작은 컨텍스트 창을 쓸 수 있다. 추측 디코딩은 DFlash 방식의 LiLiCorr 드래프터를 쓰며, 권장 레시피의 추측 토큰은 7개다. 클라이언트는 OpenAI 호환 API다. 샘플링은 샘플링 온도 1.0, top_p 0.95를 권장한다.

추론 모드는 채팅 템플릿의 enable_thinking으로 켜고 끈다. 중간 수준의 추론 강도는 medium_effort로 지정한다. 추론 토큰과 최종 답변이 max_tokens를 함께 쓰므로, 응답이 중간에 잘리면 이 값을 늘려야 한다. 같은 저장소 계열에는 GGUF 버전, BF16 버전, LiLiCorr 드래프터와 그 GGUF 버전이 따로 올라 있다.

학습 데이터와 주의점

모델 카드는 Bolt의 학습 데이터 크기를 800억 토큰으로 적었다. 부모 모델인 Super VL의 기초 학습 데이터는 20조 토큰 이상이다. 후속 학습에서는 비전 데이터로 ScreenSpot Pro와 WebArena를 겨냥한 묶음을 썼다. 텍스트 쪽은 Kimi-K3가 생성한 합성 데이터를 다운샘플링해 썼고, 겨냥한 벤치마크는 AIME, GPQA Diamond, Terminal Bench 2.1, SciCode, AA-LCR, APEX, LMArena다. 학습 데이터에는 사용자 입력이나 프롬프트가 쓰이지 않았다고 NVIDIA는 밝혔다.

NVIDIA는 이미지와 영상 입력의 권리와 허가를 사용자가 갖춰야 하며, 사람이 나오는 경우 모델 출력이 얼굴을 흐리게 처리하지 않는다고 안내했다. 영상 입력은 mp4로 최대 2분이다. 1080p는 초당 1프레임, 최대 128프레임을 권장하고, 720p처럼 해상도가 낮으면 초당 2프레임, 256프레임까지 쓸 수 있다. 배포 항목과 별개로, 하드웨어 마이크로아키텍처 호환 항목에는 Blackwell SM120과 SM121이 적혀 있어 두 항목의 범위가 다르다.