NVIDIA, 문서 이미지 파서 Nemotron 3.5 Parse 공개, ParseBench 75.20점

NVIDIA가 문서 이미지를 읽어 텍스트, 요소 분류, 위치 좌표, 읽는 순서를 한꺼번에 내놓는 모델 Nemotron 3.5 Parse를 2026년 10월 17일 Hugging Face에 공개했다. 이 모델은 NVIDIA의 Nemotron 계열 일부로 개발됐다. 문서 이해, 정보 검색, 데이터 추출, 멀티모달 데이터 선별 작업에 쓰는 것을 목표로 한다.

사용 대상은 문서 인텔리전스, 검색 증강 생성(RAG), 추출기, 에이전트형 AI 애플리케이션을 만드는 개발자와 팀이다. 스캔하거나 렌더링한 PDF, 프레젠테이션 슬라이드, 양식, 보고서, 표, 여러 요소가 섞인 문서 페이지를 구조화한 결과물로 바꿔 색인, 검색, 분석, 학습 데이터 제작, 사람 검수 단계에 넘기는 용도다. 라이선스는 OpenMDW License Agreement 1.1이 적용되고, 모델에 포함된 토크나이저에는 MIT 라이선스가 적용된다.

구조와 출력 형식

비전 인코더는 NVIDIA C-RADIOv4-SO400M이고, 여기에 10층짜리 mBART 디코더를 붙였다. 디코더는 이미지에서 나온 시각 시퀀스를 인과적 접두부로 받아 처리한다. 입력 전처리는 동적 직사각형 NaViT 방식이다. 좌표는 내용 기준으로 정규화하며, 디코더는 쿼리 헤드 16개와 키·값 헤드 8개를 쓰는 그룹 쿼리 셀프 어텐션을 사용한다. 인코더와 디코더 사이에는 비전 잠재 시퀀스를 압축하는 1D 합성곱과 정규화 층이 어댑터로 들어간다.

토크나이저는 72,505개 항목의 다국어 구성이며 predict_bbox, predict_classes, predict_text_in_pic, class_Chart 같은 작업·제어 토큰을 포함한다. 디코더 임베딩은 72,512행으로 채웠다. 차트는 class_Chart 토큰으로 구분해 출력한다. 학습 가능한 고유 파라미터는 MTP 헤드를 포함해 630,800,496개, 약 0.631B다. 디코더 임베딩과 출력 가중치는 공유하므로 한 번만 셌다.

입력은 이미지와 텍스트 프롬프트이고, 권장 최대 해상도는 가로 1664, 세로 2048이다. 출력은 문서 텍스트, 의미 요소 분류, 정규화된 경계 상자를 담은 문자열이다. x 좌표에는 평가한 이미지의 너비를, y 좌표에는 높이를 곱해 픽셀 좌표로 바꾼다. 후처리 도구를 쓰면 표나 차트에 딸린 텍스트를 LaTeX, HTML, 마크다운, JSON, CSV로 변환할 수 있다. 다만 지원되는 경우에 한정된다.

성능 수치

ParseBench는 고유 문서 페이지 2,078장으로 구성한 평가다. Nemotron 3.5 Parse는 같은 페이지를 여러 번 처리하는 방식으로 점수를 높이는데, 세 번 처리(triple pass)에 영역 합치기를 적용한 결과가 75.20점이다. 두 번 처리는 한 번 처리보다 종합 점수가 2.18점 높고, 세 번 처리는 두 번 처리보다 0.28점 더 높다. 대신 처리량은 약 9% 낮아진다. NVIDIA는 두 번 처리가 측정된 정확도 향상 대부분을 얻는다고 설명했다. 이전 버전인 Nemotron Parse 2.0의 종합 점수는 63.91점으로, 3.5의 한 번 처리 72.74점보다 8.83점 낮다. 아래 표는 공개 모델 카드의 종합 점수 비교표에서 모델명과 종합 점수만 옮긴 것이다.

속도 비교는 모델마다 H100 한 장에서 같은 2,078장의 준비된 페이지 이미지로 쟀다. 측정 시간에는 모든 모델 패스와 이에 딸린 영역 잘라내기 작업이 들어가고, 최초 페이지 준비, 시작, 워밍업, 최종 문서 렌더링과 저장은 빠진다.

다국어 OCR 결과도 함께 제시했다. IndicVisionBench OCR에서는 10개 언어, 876페이지를 평가해 ANLS-char 83.73점을 기록했다. MOSCAR에서는 합성 페이지 8,111장, 163개 언어·문자 항목, 26개 문자 그룹을 대상으로 문자 집합 F1 99.51점을 받았다. 두 평가는 Parse 2.0 가중치와 3.5 가중치를 같은 페이지, 같은 채점기, 탐욕적 디코딩으로 돌려 견줬다. 각 모델에는 문서에 적힌 기본 작업 프롬프트를 썼고, 토큰 한도에 걸린 출력도 모두 포함했다.

NVIDIA는 MOSCAR 점수에 단서를 달았다. MOSCAR는 각 언어 텍스트를 단순하게 렌더링한 합성 이미지로 기본 OCR 능력을 보는 평가여서, 복잡한 스캔 문서, 손글씨, 훼손된 이미지 등 실제 환경의 정확도를 보장하지 않는다는 것이다. 문자 집합 F1은 문자 순서를 고려하지 않고 겹치는 정도만 잰다. 10월 18일에는 배포된 체크포인트 기준으로 회귀 점검 수치를 갱신했다. Full500은 500페이지를 요청 실패 없이 마쳐 종합 74.49%, 표 품질 83.38%를 얻었다. NVIDIA는 이를 가벼운 회귀 지표이며 공식 ParseBench나 OmniDocBench TEDS와는 별개라고 밝혔다.

실행 방법과 환경

Transformers로 돌릴 때는 Python 3.12 새 환경에 transformers 5.14.1, torchvision 0.26.0, timm 1.0.22를 설치한다. 저장소 접근에 인증이 필요하면 hf auth login을 먼저 실행하고, 모델 가중치와 프로세서, 커스텀 모델 코드는 자동으로 내려받는다. 별도의 Nemotron 패키지 설치는 필요 없다. 예제 코드는 BF16으로 모델을 올리고, 작업 프롬프트에 경계 상자·분류·마크다운 출력·이미지 속 텍스트 예측 토큰을 지정하며, 생성 토큰 상한을 8,744개로 둔다.

서빙에는 vLLM을 쓸 수 있다. 이 구조와 MTP 헤드를 위한 Nemotron 플러그인이 필요하며, 저장소를 내려받아 vllm과 client 추가 패키지를 설치하면 된다. 1토큰 MTP와 호환되는 FA3 스케줄러는 자동으로 켜진다. vllm serve로 띄우면 OpenAI 호환 API로 이미지를 base64로 보내 호출한다. 참조 하드웨어는 NVIDIA Hopper H100이며 BF16 기준이다. FA3와 MTP 속도 프로필도 H100에서 측정했다. NVIDIA는 자사 모델이 NVIDIA GPU 가속 시스템에서 돌도록 설계·최적화됐다고 밝혔다.

NVIDIA는 입력 이미지와 영상에 대한 권리와 허가를 갖췄는지 확인하라고 당부했다. 이미지에 사람, 개인 건강 정보, 기밀 비즈니스 데이터, 지식재산이 있으면 모델이 보이는 텍스트를 추출하거나 그대로 재현할 수 있다는 이유다.