AI 벤치마크 업체 Vals AI가 중국·미국 등의 대규모 언어 모델에 중국 관련 정치 질문 수백 개를 던져 중국 정부 입장과 얼마나 가까운지 측정한 결과, 중국 모델의 친정부 성향이 예상보다 낮고 모델마다 편차가 크다고 밝혔다. 민감한 질문을 막기만 한다는 통념과 달리 대부분의 중국 모델은 거부하지 않고 공식 입장을 답으로 내놓는 경우가 많았다.1,2
Vals는 이 정도를 "pro-China lean"이라 부르고 −1에서 +1까지 점수로 나타냈다. 양수는 공식 입장이나 친정부 쪽, 음수는 비판적인 답을 뜻한다. 이 척도는 중국 정부 입장과 일치하는 정도를 재는 것이지 답의 사실 정확도를 재는 것이 아니다. 답을 거부하거나 얼버무린 경우는 기본적으로 0점으로 처리했다. 다만 거부만 하는 모델은 중립(0)으로도, 친중(+1)으로도 볼 수 있어서 Vals는 이런 응답을 +1로 매긴 결과와 분석에서 뺀 결과도 함께 살폈다.1,2
질문은 사실, 의견, 규범을 묻는 주관식이었고 언어, 사용 맥락, 응답 형식을 바꿔 가며 실험했다. 코딩 에이전트용 하네스를 쓴 경우와 쓰지 않은 경우도 비교했다.2
질문 언어와 사용 맥락에 따라 달라진 답
대부분의 모델은 간체 중국어로 물으면 영어, 러시아어, 스페인어보다 중국에 우호적으로 답했다. 중국 모델과 미국 모델 모두에서 나타났지만 중국 모델에서 훨씬 컸다. 간체와 번체 중국어 사이에도 작지만 일관된 차이가 있었다.
Vals는 모델이 언어에서 기대되는 관점을 추론하는 것으로 본다. 시스템 프롬프트에 중국 본토 기업이 내부용으로 쓴다고 적으면 일부 모델이 미국 내 사용으로 적었을 때보다 친정부 쪽으로 답했다.
답변 형식도 결과를 바꿨다. 예·아니오로만 답하게 하자 GLM-5.3 Flash와 MiMo V2.6 Pro는 친정부 점수가 크게 낮아졌다. 시스템 프롬프트로 JSON 형식의 예·아니오 응답을 요구한 이 설정에서는 추론 기록상 평가 인식(evaluation awareness)이 높았고, 일부 모델은 이 질문이 벤치마크일 것이라고 명시적으로 추론했다. 코딩 도구용 시스템 지시와 도구 정의를 주거나 웹 검색 권한을 준 경우에도 여러 모델의 친정부 점수가 내려갔다. 모델이 실제로 도구를 쓰거나 검색한 경우는 드물었다.1,2
거부보다 공식 입장 수용
Vals 원문에서 정치 주제 거부율이 높다고 지목된 것은 DeepSeek의 최신 모델이다. decoder는 이를 일부 DeepSeek 모델로 전했다. 다른 최신 중국 모델은 거의 거부하지 않았고 대신 공식 입장을 따르는 답을 내놓았다. Kimi K3는 신장에 강제수용소(concentration camps)가 없다고 답했고, 해당 시설은 극단주의와 테러에 맞서는 직업교육훈련센터라고 설명했다. 반대로 GLM-5.3 Flash는 중국의 인권 침해가 충분히 기록돼 있다고 분명히 답했고, 일부 비중국 모델도 때로 중국 정부 입장에 가까운 답을 했다.
Vals는 GPT-5.6 Luna를 심사 모델로 써 응답이 공식 서사를 지지하는지, 단순히 언급하는지, 담지 않는지 분류했다. 모든 질문을 막는 모델도 척도상 중립으로 보일 수 있다.1,2
일상 작업과 미세 조정
실제에 가까운 작업에서는 정치 성향이 질문 실험보다 훨씬 드러나기 어려웠지만 개별 사례는 있었다. 여행 앱의 국가 코드 목록을 간체 중국어로 번역시키자 대부분의 모델이 대만을 '台湾'으로 옮겼으나, Qwen3.8 Max는 'Taiwan, China'에 해당하는 '中国台湾'으로 옮겼다. 이 표현은 대만이 중국의 일부임을 내포하며 중국 정부와 국영 매체가 흔히 쓴다. 요청이 영어였는데도 그랬다.
OpenAI의 이미지 모델 GPT Image 2.5 Sunburst는 간체나 번체 중국어로 중국 지도를 요청하면 대만을 '台湾省'(대만성)으로 표기하고 남중국해의 구단선을 넣었다. Vals가 공개한 영어 결과에는 이 요소가 없었다.
중국 모델 대부분은 가중치가 공개돼 있어 미세 조정으로 성향을 바꾸려는 시도가 있다. Vals는 정치 성향을 겨냥해 미세 조정한 모델 세 종과 제한을 푼 'abliterated' 모델 하나를 시험했다. Thomson Reuters가 내놓은 Thomson 1.0 Small은 Snowdon 1.1 Small을 추가 학습한 모델이고, Snowdon 1.1 Small은 Qwen3.6 35B A3B를 미세 조정한 것이다. 원본 Qwen3.6 35B가 중국 공식 입장을 받아들인 비율은 84.6%였는데 Thomson 1.0 Small은 15.0%로 내려갔다. 그래도 일부 답은 여전히 하나의 중국 원칙과 평화 통일을 옹호했다.1,2
결과를 읽을 때 주의할 점
Vals는 질문이 실제 사용자 프롬프트를 대표하지는 않는다고 밝혔다. 질문은 GPT-6 Astra의 자동 레드팀과 기존 연구, 규제 내용을 바탕으로 만들었고, 중국어·러시아어·스페인어 번역도 GPT-6 Astra가 맡아 표현의 자연스러움을 표본 점검했다.
중국 모델 다수는 제작사 공식 서비스가 아니라 Fireworks AI 같은 외부 제공업체를 거쳐 시험했다. Alibaba와 Zhipu AI 등은 API 수준의 검열 장치를 두기도 하는데, Vals는 모델 자체를 보려고 이를 피했다. 일부 모델은 미국 업체를 거쳐도 여전히 친중 성향이 강했고, 제공업체가 가중치를 바꿨다는 증거는 찾지 못했다고 했다. MiMo V2.6 Pro처럼 개발사 API를 쓴 모델에서는 API 수준 검열이 거의 발동하지 않았으나, 중국 국내 API에는 검열이 더 많을 수 있다고 Vals는 밝혔다.
Vals는 결론에서 영어 단일 턴 평가만으로는 실제 사용 환경의 다양한 행동을 파악하기 어렵다며, 여러 언어·맥락·작업에서 정치적 행동을 평가해야 한다고 밝혔다. 기대치가 처음 널리 알려진 DeepSeek 모델에 맞춰졌을 수 있다고도 짚었다. 앞서 Aleph Alpha와 NewsGuard의 연구도 중국 모델이 민감한 주제에서 공식 서사를 자주 따른다고 보인 바 있다. 중국 규정은 공개 AI 서비스가 '핵심 사회주의 가치'에 맞도록 요구한다.1,2
모델을 업무에 들이는 기업이나 기관이라면 결과물이 검토 없이 쓰일 때 대만 표기 같은 용어 선택이 문서에 섞여 들어갈 수 있다. Vals도 같은 위험을 지적했다. 질문 언어와 배포 맥락에 따라 답이 달라지므로 한 가지 조건의 시험 결과로 모델 전체의 성향을 판단하기는 어렵다.2