Tencent, 탐지·OCR·매팅 한 번에 하는 WeVisOne-VL 2B·4B 공개

Tencent의 WeChat Vision팀이 객체 탐지, 문자 인식, 이미지 분할, 알파 매팅을 한 모델로 처리하는 오픈 비전 언어 모델 WeVisOne-VL을 2B와 4B 두 가지 크기로 공개했다. 개발자는 탐지기, OCR 엔진, 분할 모델을 따로 두던 구성을 이 모델 하나로 바꿀 수 있다.¹

모델은 Hugging Face에 올라 있고, 매개변수는 2B가 2.44B, 4B가 4.83B다. 추론 패키지 wevisone_vl은 Transformers와 vLLM 백엔드를 지원하며, 단일 GPU에서 BF16으로 돌릴 수 있다. NPU와 CPU 장치도 목록에 있다. Tencent가 작성한 저장소 코드는 Apache License 2.0이고, 제3자 구성요소는 원래 라이선스를 따른다. 2B와 4B 호스팅 데모도 열려 있다.^1,2

작동 방식

WeVisOne-VL은 Qwen3-VL을 바탕으로 만들었다. 객체 수준에서는 개방형 어휘 탐지, 지칭 위치 찾기, 개수 세기, 점 찍기, OCR을, 픽셀 수준에서는 지칭 분할과 프롬프트 기반 알파 매팅을 처리한다. 모든 작업을 구조화된 다음 토큰 예측으로 풀고, 정규화한 상자와 점 좌표는 0부터 1000까지 숫자에 해당하는 전용 토큰으로 나타낸다. 찾는 대상이 없으면 None을 돌려준다.²

마스크가 필요한 작업에서는 예측한 상자마다 OBJ라는 인스턴스 토큰을 내보내고, 이 토큰의 은닉 상태가 픽셀 디코더의 질의가 된다. 9,609,764개 매개변수의 mask_decoder.pt는 필수 구성요소다. Qwen3-VL의 여러 단계 ViT 특징을 쓰는 어댑터, 크로스 어텐션 블록 6개의 질의 디코더, S/4·S/2·S/1 단계로 다듬어 원본 해상도의 알파 매트를 내는 예측 헤드로 이뤄진다. Marktechpost는 별도 SAM이 필요 없다고 전했다.^1,2

성능과 학습

Tencent가 직접 공개한 수치로, 탐욕 디코딩과 이미지당 최대 1,960 시각 토큰 조건에서 측정했다. 4B 모델은 Dense200 조밀 탐지에서 F1 평균 71.3으로 NVIDIA의 LocateAnything-3B(58.7)를 앞섰고, LVIS는 55.3, RefCOCOg test는 81.8(LocateAnything-3B 77.6)이다. PixMo-Count test 정확 일치율은 89.6%(비교 82.8%), TotalText OCR은 F1 52.0으로 전문 모델 PP-OCRv5(25.7)보다 높았다. ReasonSeg val gIoU는 71.2로 LISA-13B(65.0)를 넘었다. P3M-500-NP 상자 프롬프트 매팅 MAD는 7.3으로 SAM2-Matting(15.4)보다 낮다. 2B는 대부분 작업에서 4B에 못 미치지만 같은 매팅 시험에서는 MAD 6.6으로 더 좋았다.

학습 데이터는 지식 그래프 기반 엔진이 이미지 1억 장 이상에 약 36억 개의 상자를 달아 만들었다. SAM3, Rex-Omni, 자체 탐지기가 영역을 제안하고 Qwen3-VL이 검증했다. 지도 미세 조정은 3단계였고, 마지막에 불확실성으로 거른 17만 8천 건으로 GRPO를 적용했다고 논문은 설명한다.¹

한계

대상이 없는 질의를 거부하는 비율은 PR-Bench에서 52.6%에 그쳐 없는 대상에도 상자를 내는 경우가 많다. Tencent가 자체 구축한 WeRef-Bench는 질의 2,880건으로 이뤄졌고, 여기서 거부 비율은 96.4%로 비교 대상의 73.0%를 웃돌았다. 이 수치는 Tencent 자체 벤치마크 기준이다. 알파 경계는 이미지 해상도, 심한 가려짐, 복잡한 투명 영역, 프롬프트 표현에 민감하다. 추론 효율을 위해 사고의 연쇄 없이 바로 출력하고, 단일 턴 이미지 인식만 다루며 영상 격자는 디코더가 거부한다.

커뮤니티가 만든 GGUF 빌드는 6GB RTX 2060에서 객체 수준 작업을 돌렸지만, 디코더가 원래 시각 특징을 요구해 마스크는 만들지 못한다. 미세 조정 코드는 아직 할 일 목록에 있다. Tencent는 데이터 엔진의 매팅 주석 도구 Mask2Alpha도 공개했다. 공개 용도는 시각 그라운딩, 위치 찾기, 개수 세기, 분할, 매팅 연구이며 자율적 고위험 판단이나 개인 식별에는 쓰지 않도록 했다.^1,2