Tencent, 객체·픽셀 인식 통합 모델 WeVisOne-VL 4B·2B 공개

Tencent의 WeChat Vision팀이 시각 인지 모델 WeVisOne-VL의 4B와 2B 버전을 Hugging Face에 공개했다. Qwen3-VL을 바탕으로 만들었고, 객체 단위 인식과 픽셀 단위 인식을 하나의 모델에서 처리한다. 저장소는 2026년 10월 22일(UTC)에 생성됐다.^1,2

객체 단위로는 열린 어휘 객체 탐지, 지시 표현 위치 찾기, 객체 개수 세기, 객체 지목, 광학 문자 인식을 다룬다. 픽셀 단위로는 지시 표현 이미지 분할과 프롬프트 기반 알파 매팅을 지원한다. 코드는 별도 추론 패키지를 GitHub에서 설치해 쓴다. 공개된 예제는 matting 작업에서 person을 질의어로 주고 샘플링 온도를 0.0으로 설정해 결과 마스크를 받는다. 저장소 안의 Tencent 작성 코드는 Apache License 2.0으로 공개됐고, 제3자 구성 요소는 원래 라이선스를 따른다.^1,2

작동 방식과 두 모델의 차이

모델은 구조화된 다음 토큰 예측으로 결과를 내고, 가벼운 픽셀 디코더가 마스크를 만든다. 정규화된 상자와 점은 0부터 1000까지의 전용 좌표 토큰으로 나타낸다. 질의한 대상이 이미지에 없으면 None을 돌려주고, 밀집 작업에서는 예측한 상자마다 뒤에 특수 인스턴스 토큰 OBJ(토큰 ID 152678)를 붙인다.

함께 제공되는 mask_decoder.pt는 필수 구성 요소로, 세 부분으로 이뤄진다. Qwen3-VL의 병합 전 ViT 특징을 여러 단계에서 받는 시각 특징 어댑터, OBJ 은닉 상태와 푸리에 인코딩한 상자 정보로 초기화되는 6개의 변형 가능 크로스 어텐션 블록의 상자 유도 질의 디코더, 그리고 FullCanvasAlphaCascadeHead를 쓰는 인스턴스 조건부 밀집 예측 헤드다. 이 헤드는 S/4, S/2, S/1 단계로 예측을 다듬어 스트라이드 1의 전체 해상도 연속 알파 매트를 출력한다.^1,2

용도와 한계

공개 목적은 시각 그라운딩, 지시 위치 찾기, 지목, 개수 세기, OCR 위치 찾기, 지시 분할, 이미지 매팅 연구다. 자율적인 고영향 의사결정이나 개인 식별에는 쓰지 않도록 했다.

정밀한 알파 경계는 이미지 해상도, 심한 가림, 복잡한 투명 영역, 프롬프트 표현에 따라 민감하게 달라진다. 추론 효율을 위해 명시적인 사고의 연쇄 없이 구조화된 출력을 바로 생성하며, 현재는 단일 턴 이미지 인식만 대상으로 한다. 비디오 격자는 픽셀 디코더가 거부한다.

예제 코드는 dtype을 bfloat16(BF16)으로 지정한다.^1,2