vLLM Semantic Router, 27B 판단 모델 d3-ultra를 Apache-2.0으로 공개

vLLM Semantic Router 팀이 파라미터 26.09B(약 27B)의 멀티모달 결정 모델 d3-ultra를 Apache-2.0 라이선스로 공개했다. 이 모델은 글을 생성하지 않고, 입력을 한 번 읽은 뒤 각 질문의 답안마다 확률을 돌려준다. 분류, 라우팅, 이미지 속 위치 찾기, 영상 확인을 모델 하나로 처리하려는 개발자를 겨냥했다.

쓰는 방법은 네 가지다. Hugging Face Transformers에서 불러오거나, vLLM Semantic Router 엔진에서 vllm-sr serve -e vllm-sr/d3-ultra 명령으로 띄울 수 있다. 엔진 지원은 2026년 10월 25일 PR #5449로 추가됐다. 모델 카드는 decision.vllm-sr.ai가 d3-ultra를 무료 키로 제공한다고 안내하고, 공식 Hugging Face Space에서 시험해 볼 수도 있다. 요금표에서 d3-ultra는 무료 API와 직접 설치(self-host) 모두 무료다. 비교 대상 중 GLiDE V1.2는 입력 100만 토큰당 $0.04, d1-ultra와 Jev 1.14는 각각 $0.042로 적혔다.^1,2

한 번 읽고 여러 질문에 답한다

사용자는 상태(텍스트 또는 JSON, 여기에 이미지나 영상)와 질문 묶음을 보낸다. 질문 유형은 선택(여러 보기 중 하나), 예/아니오(예일 확률), 점수(척도 평가), 박스(이미지나 영상 장면에서 대상 위치), 트랙(영상 전체에서 대상 추적)이다. 이미지는 질문이나 보기 안에도 넣을 수 있다. 모델 카드의 예시는 판테온 사진을 질문에 넣고, 피라네시가 그린 18세기 에칭 네 점을 보기로 내어 같은 건물을 고르게 한다.^1,2

입력을 요청당 한 번만 읽고 모든 질문에 답하는 구조다. 같은 사진에 질문을 1개 하면 304ms, 255개 하면 2.16초가 걸린다고 모델 카드는 적었다(중앙값, AMD Instinct MI325X 1장, AutoModel). 첫 질문 이후 질문 하나가 더하는 시간은 약 7.3ms다.¹

박스 질문은 언제나 박스 1개와 신뢰도를 돌려준다. 신뢰도는 그 박스가 요청한 대상 위에 있을 확률이며, 0에 가까우면 대상이 그림에 없다는 뜻이다. 모델 카드의 예시 그림은 신뢰도 0.50 이상이면 실선, 0.10 이상이면 점선으로 그리고 0.10 미만이면 찾지 못한 것으로 표시한다. 박스 좌표는 이미지 높이와 너비에 대한 비율이다. 질문이 131,072 토큰을 넘으면 max_length_exceeded 오류가 나며, 잘라서 처리하지 않는다.¹

설정 파일상 백본은 Qwen3.5 구조이며 64층 가운데 48층이 선형 어텐션, 16층이 전체 어텐션이다. 기반 체크포인트는 모델 카드에 밝혀져 있지 않다. vLLM 레시피는 형제 모델 d3가 Qwen3.8-27B에서 학습됐다고 적었다. 26.09B에는 0.46B짜리 비전 인코더가 포함된다. 컨텍스트는 질문당 131,072토큰이며 AMD Instinct MI325X 1장에서 서빙했다. 시험은 BF16 가중치로 했고, 양자화 버전은 아직 목록에 없다.^1,2

자체 시험 결과와 한계

팀은 d3-ultra를 GLiDE V1.2, d1-ultra, d3-turbo, d3, Jev 1.14와 자체 시험 두 가지로 비교했다. SR-Text는 텍스트 요청 10,411건, 질문 73,495개로 이뤄졌다. 공개 벤치마크 34개의 능력을 새 문항으로 재현한 것이 대부분이고, SQL 검사나 지원 티켓 라우팅 같은 과제군 43개에서 새로 만든 4,896문항이 더해졌다. 점수는 우연 보정 정확도로, 0이 우연 수준이고 100이 만점이다.^1,2

d3-ultra는 예술·인간 취향 영역을 뺀 모든 영역에서 가장 높았다. 그 영역에서는 d1-ultra가 90.8로 89.6의 d3-ultra를 앞서지만 시험의 오차 범위 안이라고 팀은 밝혔다. d3-ultra의 SR-Text 영역별 점수 가운데 가장 높은 것은 도구·자동화의 97.8이다.

SR-Box는 이미지 4,984장에 대한 박스 질문 5,678개다. 이 중 4,778개는 사진, 미술, 지시 표현, 영수증, 문서, UI 화면, 차트 등 10개 영역에서 그림 속 대상을 찾는 질문이고, 나머지 900개는 그림에 없는 대상을 묻는 질문으로 점수에 넣지 않았다. 박스는 기준 박스와 IoU 0.5 이상 겹치면 정답이다. 9개 영역 점수는 차트를 뺀 값이다. d3-ultra는 d3-turbo에 10개 영역 기준 1.8%p, 9개 영역 기준 5.0%p 뒤진다. 팀은 자연 이미지에서는 d3-turbo가 더 강하고 차트에서는 d3-ultra가 앞선다고 설명했다. GLiDE V1.2, d1-ultra, d3는 박스 질문을 지원하지 않아 점수가 0이 아니라 없다.^1,2

이 수치는 팀이 직접 만든 시험이며 공식 리더보드가 아니다. 모델마다 같은 문항과 채점기를 썼다. d3-ultra, d3-turbo, d3는 모델 파일로 직접 실행했고, GLiDE V1.2는 공개 모델 파일을 자체 장비에서 2026년 10월 23일에 측정했으며 무효 응답은 없었다. Jev 1.14는 TypeSafe API(jev-1.14.0 고정 버전)로, d1-ultra는 버전 고정이 없는 Liquid AI API로 모두 10월 26일에 측정했다. Jev 1.14의 무효 응답(SR-Text 86건)과 크기 문제로 API가 거부한 이미지(SR-Box 816문항)는 오답으로 셌다.¹

경쟁 모델과의 차이

MarkTechPost가 정리한 비교표에서 질문당 컨텍스트는 d3-ultra가 131,072토큰, d3-turbo가 기본 32,768(long_context 사용 시 131,072), GLiDE가 기본 40,000, d1-ultra가 32,768, Jev 1.14가 262,144다. d3-ultra는 텍스트, JSON, 이미지, 영상을 받고 박스와 트랙을 지원한다. GLiDE V1.2는 Fastino Labs 모델로 Fastino Community License 아래 가중치가 공개돼 있고 텍스트·JSON·이미지만 받으며 박스는 지원하지 않는다. d1-ultra(Liquid AI)는 텍스트와 이미지를 받는 호스팅 전용 모델이다. Jev 1.14(TypeSafe)도 텍스트와 이미지를 받는 호스팅 전용 상용 모델이며, 박스만 지원하고 트랙은 지원하지 않는다.

GLiDE V1.2는 2026년 10월 22일 기준 229개 모델 중 Decision Index 0.4.1 1위(71.5)다. 비교표의 공개 지수 점수 칸에는 d3-ultra가 '제출함, 아직 순위표에 없음'으로 표기돼 있다.^2,3

GLiDE는 Qwen3.8-27B를 수정한 모델이며 80GB 이상 GPU 1장이 필요하다. bf16 가중치는 디스크에서 52.2GB이다. d3-ultra는 MI325X 1장에서 시험했다.^1,3

벤치마크 수치는 모두 비공개 시험 세트에서 팀이 직접 보고한 것이다.²