NVIDIA, 120B 멀티모달 오픈 모델 Nemotron 3.5 Super VL 공개

AI타임스에 따르면 NVIDIA는 현지시간 2026년 10월 15일 공식 블로그를 통해 오픈 웨이트 멀티모달 모델 Nemotron 3.5 Super VL을 공개했다. 문서·차트·표 같은 자료부터 이미지와 비디오까지 한 모델이 함께 이해하고 추론한다. 기업용 AI 에이전트 시장을 겨냥한 모델이다. 이 기사의 수치와 설명은 AI타임스가 전한 NVIDIA의 발표 내용이다.

모델 가중치는 Hugging Face와 ModelScope 등에서 이용할 수 있다. 학습 레시피와 데이터셋까지 모두 공개했다. 데이터센터 환경에는 NVIDIA NIM과 Dynamo를 통해 배포할 수도 있다. NVIDIA는 로컬, 데이터센터, 클라우드 등 여러 인프라에서 모델을 맞춤화하고 운영할 수 있도록 지원한다고 밝혔다.

추론, 지시 이행, 도구 사용을 한 모델에 묶었다. 기존에는 글을 다루는 LLM과 이미지를 분석하는 비전 언어 모델을 따로 운영해야 했지만, 이 모델은 이를 하나로 통합했다. NVIDIA는 "하나의 요청이 문서를 읽고 여러 출처의 정보를 확인한 뒤 회사 정책을 적용하고 여러 도구를 호출하는 작업으로 매끄럽게 이어진다"며 "이러한 특수한 워크플로우를 위해 맞춤 설계된 오픈 멀티모달 모델"이라고 강조했다.

예를 들어 기업 에이전트가 계약서 표에서 수치를 추출하고, 다른 페이지의 차트와 비교한 뒤, 관련 규정을 대조해 보고서를 작성하는 업무를 단일 모델 안에서 완결할 수 있다고 한다. 활용 분야로는 문서 분석, 웹 조사, 코딩, 사이버 보안, 금융 업무, 비디오 분석이 꼽혔다.

전체 매개변수는 1200억 개인 전문가 혼합 구조로, 토큰당 120억 개만 활성화된다. Mamba-2 레이어와 어텐션 레이어가 교대로 놓이고, MoE 레이어마다 라우팅 전문가 512개가 있다. 컨텍스트는 최대 100만 토큰까지 지원한다. 추론 때 전체 매개변수 중 일부만 쓰는 구조다.

Blackwell 기반 NVFP4 양자화에 양자화 인식 증류(QAD)를 더해 모델 크기와 추론 비용을 대폭 낮췄다. 생성 속도는 다중 토큰 예측(MTP), DGX Spark용 투기적 토큰 생성 도구 LiLiCorr, 어텐션 캐시와 Mamba 상태를 유지하는 컨텍스트 재사용 기술로 높였다. 개발자는 NVIDIA NeMo로 각자의 데이터와 사내 정책에 맞춰 미세조정할 수 있다.

NVIDIA에 따르면 GPU 한 장으로 돌리는 단일 GPU 환경에서 동급 오픈 모델과 견줘 에이전트 작업 처리량이 최대 5배 높다. B200 GPU 16개에 Dynamo를 결합하면 KV 캐시 기반 라우팅 등으로 동시 처리 사용자 수를 최대 8배 늘릴 수 있고, 첫 토큰이 나오기까지의 지연 시간을 85% 줄일 수 있다고 했다. 출력 속도는 AI타임스가 실은 Artificial Analysis 차트의 설명에 따르면 지능 지수 에이전트 작업 기준으로 초당 600토큰 이상이다.

• NVIDIA가 소개한 사례에 따르면 Scale AI는 미디어 기업 스카이댄스의 공급업체 신용 처리 업무에 모델을 적용해 추론 비용을 40분의 1 수준으로 낮췄다고 밝혔다.
• NVIDIA가 소개한 사례에 따르면 핀테크 기업 램프는 영수증 사진에서 결제 내역을 뽑아 구조화 데이터로 만드는 작업에 모델을 도입해 처리량을 최대 50% 끌어올렸다.
• NVIDIA가 소개한 사례에 따르면 AI21과 앨리스(Alice)는 위협 정보 분석과 보안 취약점 평가를 위해 모델을 추가 학습시켜 정확도를 41% 개선했다.

수치마다 조건이 다르다. 5배는 GPU 한 장일 때의 값이고, 8배와 85%는 B200 16개에 Dynamo를 붙인 구성의 값이다. 비교 대상은 모델명 없이 동급 오픈 모델로만 적혀 있으며, 처리량·지연·비용 수치는 NVIDIA와 도입 기업이 내놓은 것이다.

같은 날 로컬 에이전트용 Nemotron 3.5 Bolt 74B-A9B도 나왔다. 네이티브 2비트 양자화를 거쳐 RTX와 DGX Spark 시스템의 24GB 메모리에 탑재할 수 있도록 정제했으며, 로컬 환경에서 강력한 에이전트 성능을 낸다고 AI타임스는 전했다. Nemotron 3.5 Bolt E4B는 23일 출시 예정이다.