vLLM Semantic Router, 이미지도 읽는 결정 모델 Decision 3.0 공개

vLLM Semantic Router 팀이 텍스트, JSON, 이미지를 읽고 정해진 형식의 질문에 답하는 멀티모달 결정 모델 계열 Decision 3.0을 공개했다. 크기는 0.8B부터 27B까지 5종이며 모두 Apache 2.0 라이선스다.

모델은 글을 생성하지 않고 확률을 돌려준다. 사용자는 상태(텍스트 또는 JSON), 선택 사항인 이미지, 이름 붙인 질문을 넣는다. 질문은 선택형, 예/아니오형, 척도 점수형 중 하나이며, 모델은 한 번 호출로 모든 질문에 답하고 각 답의 확률을 낸다. 개발자는 생성된 문장을 해석하지 않고도 요청을 분류하거나 라우팅하고 통과 여부를 가릴 수 있다고 팀은 설명했다.

구조와 실행 조건

모델은 모두 Qwen 기반 모델을 미세 조정했다. 27B 모델 d3는 Qwen3.8-27B를 바탕으로 하고, 나머지 4종은 0.8B, 2B, 4B, 9B 규모의 Qwen3.5 체크포인트를 쓴다. 전체 크기는 d3-lite 0.85B, d3-nano 2.21B, d3-mini 4.54B, d3-flash 8.39B, d3 26.09B다.

모든 모델에 비전 인코더가 들어 있다. 크기는 d3-lite가 0.10B, d3-nano와 d3-mini가 0.33B, d3-flash와 d3가 0.46B다. 요청에는 PNG, JPEG, WebP 이미지를 여러 장 넣을 수 있고, 한 장은 최대 160만 화소까지 읽는다. 모든 질문이 모든 이미지를 본다. 질문마다 입력 전체에 대한 순전파를 따로 수행한다.

설치는 transformers==5.17.0을 기준으로 하며, 선택 패키지인 flash-linear-attention을 깔면 선형 어텐션 층이 빨라진다. 불러올 때 trust_remote_code=True가 필요하다. 가중치는 BF16이고 공식 양자화 버전은 없다. 코드와 모델은 Hugging Face 컬렉션, 모델 카드, GitHub 저장소에서 받을 수 있다.

성능과 지연 시간

기준은 TypeSafe의 Jev 결정 시스템을 공개 모델로 재현한 모델들의 순위표인 Jev Decision Index 0.3.1이다. d3 수치는 팀의 내부 평가 결과이고, 비교 대상 수치는 이 순위표에 올라 있는 값이다. 팀은 d3가 텍스트(64.1점)와 비전(71.6점) 표에서 모두 1위라고 밝혔다. 텍스트에서는 Perplexity Decider v1.1(62.8점)과 Jev(60.1점)를 앞섰고, 비전에서는 Perplexity Decider v1.1(70.6점)을 앞섰다. 다만 공개 평가 모음 점수는 Torchcast Decision 27B가 65.1로 d3의 64.9보다 높다.

크기 대비 성능이 눈에 띈다. 9B급 d3-flash는 59.0점으로 Decision 2.0의 27B 모델(55.9점)을 넘었다. 공개 평가 모음에서 Decision 2.0 대비 향상 폭은 27B가 +8.0, 0.8B가 +15.1이다.

모든 급에서 1위는 아니다. d3-mini(4B)와 d3-flash(9B)는 텍스트와 비전 순위표 모두 1위다. d3-lite(0.8B)는 텍스트에서 1위지만 비전은 41.1점으로 JPT-0.8B(42.1점)에 이어 3위다. d3-nano(2B)는 비전 1위지만 텍스트에서는 LiquidAI d1-3B(40.1점)에 뒤진 35.8점이다.

d3의 과제별 점수 가운데 가장 높은 값은 문서 정보 추출(KIE, CORD+FUNSD)의 97.7점이고, 가장 낮은 값은 R-Bench-M의 34.1점이다. 공개 비전 과제에서는 InfographicVQA 97.3점, Mind2Web 89.9점을 받았는데 둘 다 근사 재현판이다. MMMU-Pro 비전은 46.2점, Hateful Memes 검열은 44.6점으로 약했다.

모델은 모두 AMD Instinct MI325X GPU에서 학습했다.

다른 결정 모델과 비교