Tencent, 활성 7B 기본 모델 Youtu-LLM-A7B-Base 가중치 공개

Tencent가 기본 모델(base model) Youtu-LLM-A7B-Base의 모델 가중치를 Hugging Face에 올렸다. 전체 파라미터는 약 120B이고 토큰당 활성 파라미터는 약 7B이다. 텍스트와 이미지를 입력받으며, 11.5T 멀티모달 토큰으로 262,144 토큰 컨텍스트 창을 학습했다.

채팅용으로 다듬은 모델이 아니어서 저장소는 원문 텍스트를 이어 쓰게 하는 방식을 권한다. chat_template.jinja도 들어 있지만 추가 용도라는 설명이다. 모델링 코드가 저장소에 함께 담겨 있어 불러올 때 trust_remote_code=True를 지정해야 한다. 라이선스 조건은 저장소의 LICENSE.txt에 있다.

구조

어텐션 층은 하이브리드 구성이다. 저장소는 이를 "KDA interleaved with GatedMLA"라고 소개하고, 사양표에는 3 Hybrid KDA linear attention + 1 MLA로 적었다. 피드포워드 층은 세분화된 전문가 혼합(MoE)이다. 라우팅 전문가 256개 중 8개를 고르고 공유 전문가 1개를 함께 쓴다. 라우터는 분위수 균형 방식에 모달리티별 전문가 편향을 더했다.

평가 결과

모델 카드는 텍스트와 비전-언어 평가표를 싣고 있다. 텍스트 표에는 활성 49B·전체 1.6T 열과 활성 7B·전체 120B 열이 나란히 놓였고, 항목은 월드 지식, 수학·코드, 긴 문맥으로 나뉜다. 긴 문맥 항목으로는 RULER(4K~256K), LongBench v2, MRCR v2가 올라 있다. 비전-언어 표에는 15B와 310B 열이 있다.

텍스트 표에서 활성 7B·전체 120B 열의 수치는 MMLU-Redux 96.00(49B·1.6T 열은 93.21), MMLU-Pro 78.61(67.11), GPQA main 68.53(55.36), HumanEval+ 78.05(76.80), LiveCodeBench v6 15.43(12.00)이다. 반대로 MMMLU는 84.02 대 86.48, SuperGPQA는 42.28 대 54.20으로 49B·1.6T 열이 높다. 이 값들은 모델 카드의 평가표에 실려 있다.

비전-언어 표는 STEM, VQA, OCR, 환각, 그라운딩으로 나뉜다. 선택형 문항은 보기 기호를 추출해 정확히 일치하는지 채점했다. 주관식은 MiniMax-M2.7을 판정 모델로 썼다. 나머지 열은 일반 정확도가 아니라 각 평가 묶음의 공식 지표를 따른다.

실행 방법

Transformers로 돌릴 때는 transformers==5.12.1에 torch, accelerate, pillow를 설치한다. AutoProcessor와 AutoModelForCausalLM을 trust_remote_code=True, bfloat16, device_map="auto"로 불러온다. 이미지는 processor에 images=[pil_image]를 넘기고, 프롬프트에 <|vision_start|><|image_pad|><|vision_end|>를 넣는다.

SGLang은 sglang==0.5.17을 설치하고, python -m sglang.launch_server가 아니라 저장소의 sglang_adapt/launch.py 어댑터로 서버를 띄워야 한다. 가중치는 BF16이며 GPU 8장에서는 TP_SIZE=4, DP_SIZE=2, EP_SIZE=4를 권장한다. 기본 모델이므로 POST /generate에 원문 프롬프트를 보내는 방식을 권한다.

오버랩 스케줄러는 DISABLE_OVERLAP_SCHEDULE 기본값이 1로 꺼져 있다. 텍스트 전용 서빙에서는 0으로 바꿔 디코딩 처리량을 높일 수 있다. 동시 요청이 많은 이미지 트래픽에서는 켜지 말아야 한다. 비전 프리필 단계가 event_loop_overlap에서 멈출 수 있기 때문이다.