Ollama 0.40.10, NVIDIA Nemotron 3.5 Bolt E4B 로컬 실행 지원

Ollama가 0.40.10 시험판에서 NVIDIA의 Nemotron 3.5 Bolt E4B를 지원한다. Ollama는 이 모델을 Gemma 4를 바탕으로 한 NVIDIA의 소형 비전-언어 모델이라고 설명하며, 빠른 로컬 대화와 이미지 이해, 도구 사용에 알맞다고 밝혔다. 컨텍스트 창은 128K 토큰이다.¹

Ollama 사용자는 ollama run nemotron-3.5-bolt:e4b 명령으로 모델을 실행할 수 있다. 이 모델에는 추측 디코딩용 DFlash 초안 모델이 포함돼 있다. 별도로 NVIDIA는 Hugging Face에 DFlash 초안 모델의 GGUF 변형 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash를 올렸고, 모델 카드의 공개일(Release Date)은 2026년 10월 23일이다. 저장소 생성은 10월 5일, 마지막 수정은 10월 23일이며, 한국 시각 10월 24일 오전 0시 40분에 처음 관측됐다. 이 관측 시각은 공개 발표 시각이 아니다.^1,2

DFlash 초안 모델의 구조

NVIDIA는 Hugging Face 저장소에서 Nemotron 3.5 Bolt E4B를 Google의 Gemma 4 E4B IT에서 NVIDIA가 사후 학습한 추론 언어 모델(reasoning language model)로 설명한다. 이번 저장소의 파일은 BF16 DFlash 초안 모델을 llama.cpp용 GGUF로 변환한 것이며, 대상 모델의 GGUF(Nemotron-3.5-Bolt-E4B-4GB)와 함께 불러와야 한다.

초안 모델은 파라미터가 약 3억 6천만 개(360,480,000개)이고, BF16 단일 GGUF 파일 크기는 736,812,096바이트다. 토큰 임베딩과 출력 헤드는 들어 있지 않고 실행 중 대상 모델의 것을 쓴다. 구조는 Qwen3 방식의 디코더 층 다섯 개이며, 어텐션은 슬라이딩 윈도 방식으로 최근 1,024 토큰만 본다.

디코딩 한 단계에서 초안 모델은 직전에 검증된 토큰과 대상 모델 다섯 개 층의 은닉 상태를 받아, 8토큰 블록 중 다음 7토큰을 한 번의 비인과적 순전파로 제안한다. 대상 모델이 이를 한 번에 검증해 유효한 가장 긴 앞부분을 채택하므로 한 단계에 토큰이 둘 이상 나올 수 있다. 단계당 평균 생성 토큰 수가 수락 길이이고 상한은 8이다. 최종 출력은 대상 모델이 만든다.²

측정 결과와 실행 조건

수락 길이는 이 초안 모델의 Hugging Face 체크포인트로 RTX 5090 GPU 한 장에서 llama.cpp를 써서 측정했다. 대상 모델의 사고 기능을 켜고 출력 4,096토큰, 동시성 1 조건에서 초안 길이 7을 적용했다. 이번 GGUF 파일은 같은 BF16 가중치를 유지한다. MT-Bench 전체 평균은 탐욕 디코딩(t=0)에서 3.88, 샘플링(t=1)에서 3.63이다. SPEED-Bench 정성 분할의 전체 평균은 각각 3.61과 3.42다.²

분류별 편차가 크다. 수학과 코딩에서 수락 길이가 길고 글쓰기와 인문 분야에서 짧았다. 평가 프롬프트는 모두 텍스트이며 대부분 영어다. MT-Bench는 영어 두 차례 질문 80개이고, SPEED-Bench 정성 분할은 프롬프트 880개 중 다국어 분류가 23개 언어를 다룬다. NVIDIA는 vLLM에서는 수락 길이가 조금 다를 수 있다고 밝혔다. 속도 향상 폭은 서빙 설정과 대상 모델의 양자화 수준에 따라 달라진다.

llama.cpp에서 쓰려면 b11808 빌드에서 llama-server에 대상 GGUF를 -m, 초안 GGUF를 -md로 지정한다. 예시 명령은 대상에 NVIDIA-Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf, 초안에 NVIDIA-Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf를 쓰고 --spec-type draft-dflash, --spec-draft-n-max 7, -ngl 99, -fa on, --jinja, --port 8000 옵션을 붙인다. 다만 이 예시에는 파일 이름과 양자화 수준, 옵션을 llama.cpp 시험 뒤 확인하라는 표시가 남아 있다. 지원 하드웨어로는 RTX 5090, 권장 운영체제로는 Linux가 적혀 있다.²

라이선스와 한계

이 모델은 OpenMDW License Agreement 1.1이 적용되며, Gemma 4 E4B IT는 Apache License 2.0 조건이 별도로 붙는다. NVIDIA는 상업적·비상업적 용도 모두 쓸 수 있다고 밝혔다. DFlash 모듈 학습에는 Nemotron-Post-Training-Dataset-v2의 프롬프트로 데이터를 합성했고, 원래 GPT 응답은 쓰지 않았다. 학습 데이터는 대상 모델이 만든 합성 응답 약 370만 건의 다국어 샘플이며, 사고 기능을 켠 응답과 끈 응답이 섞여 있다.

NVIDIA는 기반 모델이 부정확하거나 불완전한 답을 낼 수 있고, 인터넷에서 수집한 학습 데이터의 편향과 유해 표현을 증폭할 수 있다고 경고했다. 출력 품질은 분야, 언어, 추론 깊이, 컨텍스트 길이에 따라 달라지므로 개발자가 배포 환경에서 정확도, 지연 시간, 안전성을 따로 검증하고 보호 장치를 더해야 한다고 밝혔다.²