NVIDIA, Gemma 4 기반 소형 모델 Nemotron 3.5 Bolt E4B 3종 공개

NVIDIA가 Google의 Gemma-4-E4B-it를 사후 학습한 소형 언어 모델 Nemotron-3.5-Bolt-E4B를 Hugging Face에 공개했다. 저장소는 BF16 원본, 초안 모델인 DFlash(NVFP4), Q4_K_M 양자화판 "4GB" 세 가지다. 세 저장소의 릴리스 날짜는 모두 2026년 10월 23일로 적혀 있고, Hugging Face 관측 시스템은 한국 시각 10월 24일 0시경 이 저장소들을 처음 확인했다.^1,2,3

모델은 소형 언어 모델로, 전체 매개변수는 80억 개이고 실효 매개변수는 40억 개다. 입력과 출력 모두 텍스트이며 각각 최대 64K 토큰을 다룬다. 라이선스는 OpenMDW-1.1이며 상업적·비상업적 사용이 모두 가능하다고 NVIDIA는 밝혔다. 기반인 Gemma 4에는 Apache 2.0이 적용된다. Build.NVIDIA.com에도 같은 날 올라왔다.^1,3

세 가지 배포판

BF16 원본은 직접 서비스용이라기보다 맞춤 개발용이다. NVIDIA는 사용자 데이터로 사후 학습(지도 미세 조정, NeMo RL·NeMo Gym을 쓴 강화 학습, 지식 증류)을 하거나 NVFP4, W4A16, GGUF 같은 양자화 변형을 만들고, 전체 정밀도로 연구·평가하는 용도를 내세웠다. 배포는 vLLM을 쓰며, H100 한 장으로 시작하는 실행 명령을 제공한다.¹

4GB판은 Q4_K_M으로 양자화한 GGUF 파일이다. 로컬 음성·기기 비서, 대화형 캐릭터, 임베디드 인터페이스에 맞췄다고 NVIDIA는 설명했다. 실행은 llama.cpp 서버 컨테이너(CUDA 13 빌드)로 하며, 모델 카드에는 배포 방식이 "llama.cpp (recipe pending)"으로 적혀 있다.³

DFlash 저장소는 추측 디코딩용 초안 모델이다. 단독 모델이 아니라 Bolt-E4B와 함께 쓰도록 만들었으며, 데이터센터와 워크스테이션 GPU에서 지연을 줄이는 것이 목적이다. 지원 런타임은 vLLM 0.31.0 이상, 지원 하드웨어는 NVIDIA Blackwell이다.²

DFlash 초안 모델의 구조와 속도

초안 모델은 Qwen3 방식 디코더 층 5개로 구성되며 매개변수는 10억 3,156만 8,640개다. 이 중 6억 7,108만 8,640개는 대상 모델 출력 헤드를 NVFP4로 양자화한 사본이다. 토큰 임베딩은 대상 모델과 공유해 체크포인트에 넣지 않았고, 어텐션은 최근 1,024 토큰을 보는 슬라이딩 윈도우 방식이다.

매 단계에서 초안 모델은 직전 검증 토큰과 대상 모델 5개 층의 은닉 상태를 받아, 8토큰 블록 중 다음 7토큰을 한 번의 비인과적 순전파로 제안한다. 대상 모델이 이를 한 번에 검증해 가장 긴 유효 접두부를 수락하므로 한 단계에 두 개 이상의 토큰이 나올 수 있다. 단계당 평균 생성 토큰 수가 수락 길이이며 상한은 8이다. NVIDIA는 이 방식이 출력 분포를 바꾸지 않는 무손실 가속이라고 밝혔다.

기본 리비전은 NVFP4 가중치에 16비트 활성값을 쓰는 W4A16이고, w4a4 리비전은 활성값까지 NVFP4로 처리한다. W4A4에는 Blackwell GPU의 NVFP4 활성 커널이 필요하며 GB300에서는 CUDA 13용 vLLM 빌드를 써야 한다. 양자화하지 않은 BF16 초안 모델과 비교해 수락 길이는 W4A16에서 약 1%, W4A4에서 약 2% 낮아진다.

수락 길이는 사고 모드를 켜고 출력 4,096토큰, 동시 처리 16, GB300 한 장에서 W4A16 설정으로 쟀다. 아래는 초안 길이 7 기준 전체 평균이다.²

범주별로는 MT-Bench 수학이 5.81(t=0)과 5.54(t=1)로 가장 높고 인문학이 2.82와 2.51로 낮다. SPEED-Bench에서는 코딩 4.85·4.42, 다국어 4.59·4.40이 높았고 글쓰기는 2.89·2.58이다. 처리량 분할에서는 엔트로피가 높은 문장이 2.41·2.12로 가장 낮았다. NVIDIA는 실제 속도 향상이 서빙 설정에 따라 달라진다고 밝혔다.²

모델 성능과 학습 방식

Bolt-E4B는 Gemma의 대화 능력을 이어받으면서 다중 턴 도구 사용, 지시 따르기, 입력 그라운딩을 높였다고 NVIDIA는 설명했다. 낮은 메모리와 짧은 첫 토큰 시간을 목표로 해, 애플리케이션이나 인접 모델 파이프라인에 쓸 여유를 남긴다는 설계다. 학습에는 GRPO를 썼고 지시 따르기, 다단계 도구 사용, 다중 턴 대화, 구조화 출력 환경에서 멀티 환경 강화 학습을 했다. 학습과 추론을 분리한 비동기 구조이며, 사후 학습 데이터는 2026년 5월까지다.

벤치마크는 NVIDIA가 NeMo Gym 하네스에서 직접 측정했으며, 다른 회사가 발표한 수치와 다를 수 있다고 밝혔다. 비교 대상은 Gemma4 E4B-it, Qwen3.5 4B, Nemotron-3 Nano-4B이고, RoleBench Custom·EQ-Bench v3·RULER를 뺀 평가는 추론 모드에서 했다.¹

Gemma4 E4B-it보다 높은 항목이 많지만 모든 항목은 아니다. EQ-Bench v3에서는 두 정밀도 모두 Gemma4 E4B-it가 앞서고, Tau2-Bench·RULER(64K)·LongBench v2에서는 Qwen3.5 4B가 BF16 기준 더 높다. 이 문단은 위 표의 수치를 비교한 기사 분석이다.¹

사용 방법과 권장 설정

vLLM 0.31.0(vllm/vllm-openai:v0.31.0) 이미지로 BF16 모델을 서빙하는 예시는 최대 문맥 65,536, gemma4 도구 호출·추론 파서, 이미지·영상·오디오 입력 0 설정을 쓴다. 최대 처리량 구성에서는 추측 디코딩을 쓰지 않는 것이 낫다고 설명한다. DFlash를 쓰면 예시는 동시 시퀀스 1개, 추측 토큰 7개 설정이다. 두 설정 모두 OpenAI 호환 API 클라이언트로 호출한다.^1,2

권장 샘플링 온도는 1.0, top_p는 0.95이며 사고 모드 켜짐·꺼짐 모두 같다. 사고 모드는 chat-template의 enable_thinking으로 조절하고, 간결하게 답하는 대화 모드(conversational_mode)는 음성 응용에 맞는다. 두 모드는 도구 호출과 함께 쓸 수 있다.¹

사고 예산은 vLLM에서는 두 단계 요청 클라이언트로 제한하고, llama-server에서는 --reasoning-budget 인자로 설정한다. 예산이 작으면 생각이 문장 중간에서 잘릴 수 있어 과제별 평가가 필요하다. 시스템 프롬프트에는 역할과 규칙을 두고 "1~2문장"처럼 구체적으로 길이를 제한하라고 권한다. 채팅 템플릿은 앞선 assistant 도구 호출 없이 들어온 도구 응답을 허용하지 않아, 비동기 도구는 "pending" 응답 뒤 user 메시지로 결과를 전달하도록 안내한다.^1,3

학습 데이터와 제한

사후 학습 코퍼스는 선별 데이터와 합성 데이터이며, 학습 데이터 규모는 20조 토큰 이상으로 적혀 있다. 영어와 코딩 언어가 주력이고 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어를 지원한다. NVIDIA는 최종 사전·사후 학습 데이터도 함께 공개한다고 밝혔다. 샘플 세트는 게이트 없이 열려 있고 코드·수학·다국어 데이터는 승인이 필요하다.¹

NVIDIA는 일부 교사 모델이 특정 정치 주체에 편향되거나 민족주의 서사를 띠는 추론을 내놓는 것을 내부 점검에서 확인해 키워드·정규식 필터로 해당 궤적을 제거했다고 밝혔다. 데이터가 인구 집단을 고르게 대표하지 않는다는 점도 인정하며 편향 감사와 균형 데이터 미세 조정을 권한다. DFlash 모델 카드는 기반 모델이 부정확한 응답을 낼 수 있으니 배포 전 안전 시험이 필요하다고 안내한다.^1,2