NVIDIA Nemotron 3.5 Super VL, AWS EKS·HyperPod에서 배포 가능

AWS가 2026년 10월 30일 공식 기술 블로그에서 NVIDIA의 멀티모달 모델 Nemotron 3.5 Super VL을 Amazon Elastic Kubernetes Service(EKS), EKS Auto Mode, SageMaker HyperPod EKS에 배포하는 방법을 소개했다. 이 모델은 매개변수 120B 규모의 전문가 혼합(MoE) 구조로, 토큰 하나를 처리할 때 12B만 활성화한다. AWS에서 이미 쓸 수 있던 Nemotron 3 계열과 Nemotron 3.5 Lightning에 이번 모델이 더해졌다.

배포 절차는 aws-do-eks 프로젝트에 정리돼 있다. 사전 준비, 클러스터 생성, 모델 가중치 내려받기, 배포, 테스트, 벤치마크, 정리까지 다루며 Nemotron 3 Ultra 배포도 포함한다. 같은 방식을 Nemotron 계열의 다른 모델에도 쓸 수 있다.

Nemotron 3.5 Super VL은 Nemotron 3 Ultra에서 증류한 개방형 멀티모달 모델이다. NVIDIA는 가중치, 학습 데이터셋, 사후 학습 레시피를 공개해, 사용자가 특정 분야에 맞게 조정하고 직접 관리하는 인프라에서 돌릴 수 있게 했다. 컨텍스트 길이는 최대 1M 토큰이며 텍스트, 이미지, 문서, 영상을 입력받아 텍스트를 출력한다. BF16과 NVFP4 체크포인트가 있다.

구조는 Mamba-2, 어텐션, 전문가 계층을 번갈아 쌓은 하이브리드 Mamba-Transformer MoE이고, 비전 인코더는 RADIO를 쓴다. 희소 라우팅 덕분에 토큰당 연산량은 훨씬 작은 모델 수준이지만 GPU 메모리에는 전체 가중치가 올라가야 한다. Mamba-2 계층은 생성 중 일정한 크기의 상태를 유지하므로 KV 캐시와 달리 시퀀스 길이가 늘어도 메모리가 함께 늘지 않는다. 재귀적으로 공유하는 Multi-Token Prediction(MTP) 헤드는 추측 디코딩을 기본 지원한다.

NVIDIA는 기술 보고서에서 Hermes Bench 63.44%, LangChain 에이전트 평가 87.05%, 차트 추론 벤치마크 CharXiv 80.8%를 보고했다. AWS 블로그는 이 모델의 활용 분야로 코드 검증과 오류 분석, 검색 결과 교차 검증을 하는 웹 리서치, 표·차트·페이지 레이아웃을 읽는 문서 처리, 취약점 식별과 위협 분류, 영상 검색·검토·사고 분석을 소개했다. 오픈 에이전트 프레임워크와는 NVIDIA 참조 구현, 쿡북, NVIDIA Agent Toolkit으로 연동한다.

vLLM 기준 최소 GPU 수는 아래 표와 같다.

참조 구현은 표준 Amazon EKS, EKS Auto Mode, SageMaker HyperPod EKS에서 같은 Kubernetes 매니페스트로 돈다. EKS Auto Mode에서는 AWS가 확장, GPU, EFA 지원을 대신 관리한다. 클러스터는 Kubernetes API를 맡는 컨트롤 플레인과 CPU·GPU 노드로 이뤄진 데이터 플레인으로 구성되며, CPU 노드는 시스템과 테스트 파드를, GPU 노드는 모델을 실행한다. 컨테이너 이미지는 Amazon ECR에, 가중치는 공유 Amazon FSx for Lustre 볼륨에 두고 Elastic Fabric Adapter(EFA)로 GPU 노드를 잇는다.

서빙은 NVIDIA Dynamo가 맡는다. 한 노드에서 통합 처리하거나 프리필과 디코드를 다른 노드로 나눠 처리할 수 있고, 비전-언어 모델은 이미지·영상 인코딩 단계도 별도 노드로 분리할 수 있다. 검증은 p6-b200.48xlarge(B200 8장)와 p5en.48xlarge(H200 8장) 인스턴스에서 마쳤다. NCCL all-reduce 마이크로 벤치마크로 클러스터와 네트워크를 점검하고, NVIDIA aiperf로 첫 토큰 시간(TTFT), 토큰 간 지연(ITL), 초당 토큰 수를 잰다.

동시 요청 수를 바꿔 가며 측정한 결과, 노드 2개 구성에서 통합 배포와 분리 배포의 TTFT에는 차이가 있었고 ITL은 비슷했다.

AWS는 용량 계획 방법도 예로 들었다. TTFT 600ms 미만, ITL 토큰당 100ms 미만 같은 지연 예산을 그래프에 긋고 두 선 아래에서 가장 오른쪽 지점을 찾는다. 이 예에서는 동시성 32, 초당 약 320토큰이 복제본 하나의 처리량이다. 목표 초당 토큰 수를 이 값으로 나누면 필요한 프리필-디코드 쌍의 수가 나온다. ITL이 오르면 디코드, TTFT가 오르면 프리필 용량을 늘리라는 신호다.