Vals AI, 추론 기록 102개 모델 분석해 14개에서 욕설 확인

AI 모델 평가 업체 Vals AI가 102개 모델의 추론 기록을 뒤져 14개 모델이 욕설을 썼다고 11월 11일 공개했다. 대상은 21개 벤치마크에서 나온 200,353회 실행이다. 욕설이 나온 실행의 비율이 가장 높은 모델은 Xiaomi의 MiMo V2.6 Pro(8.2%)이고, 앞서 분석한 Inkling 2 Small(4.8%)이 그다음이다.

욕설을 쓴 모델은 모두 2026년 7월 중순 이후에 나왔다. 그 전에 나온 모델 중 추론 기록을 길게 읽을 수 있었던 21개는 한 번도 욕설을 쓰지 않았다. 욕설은 대개 모델이 과제에서 막혔을 때 추론 기록에만 나타났고, 사용자에게 보내는 메시지에는 거의 없었다. Vals AI는 이 비율로 모델을 고르지 말라고 당부했다.

분석 방식

Vals AI는 모델의 추론 기록과 메시지만 읽었고 도구 호출과 그 출력은 보지 않았다. 실행 한 번은 에이전트가 과제 하나를 시도한 것이다. Terminal-Bench 4, Terminal-Bench Science, ProgramBench, SWE-bench Multimodal, BioMysteryBench, IOI, Legal Agent 등 공개 벤치마크 7개는 모든 실행을 읽었다. 나머지 14개는 대부분 비공개이며 각 모델의 첫 시도만 세어 집계했다.

영어 욕설 f-word는 변형어를 포함하되 brainfuck, boolfuck, 유전자 이름 FucK는 뺐다. shit, bastard, goddamn, wtf, omfg 같은 다른 욕설도 코드나 이름이 아닌 감탄으로 쓰인 경우만 셌다. 두 MiMo 모델의 wtf 2,141건은 표본으로 확인했고 나머지는 사람이 일일이 읽었다. 법원 판결문 인용, 비밀번호 목록, WTFPL 라이선스처럼 모델이 욕한 것이 아닌 사례는 걸러냈다.

기록을 충분히 읽지 못한 모델도 있다. 19개 모델은 추론 기록이 100만 자에 못 미쳤고, 이 중 11개가 Claude 계열이다. 욕설이 없던 모델 중 Vals Index 최고 점수인 Claude Fable 5.2도 여기에 든다. OpenAI 모델은 추론 원문 대신 요약을 돌려주므로, 이들 모델의 0%는 욕설이 없었다는 근거로 약하다고 Vals AI는 설명했다.

모델별 사례

MiMo V2.6 Pro는 3,247회 중 267회에서 욕설을 썼다. 절반가량은 실행 파일과 동작 설명만 보고 프로그램을 처음부터 다시 만드는 ProgramBench에서 나왔고, 이 벤치마크에서는 198회 중 133회에 욕설이 있었다. 주로 쓴 말은 wtf로 1,944번 나왔으며, 다음 모델의 약 10배다. f-word는 27회 실행에서 썼고 그중 13회가 ProgramBench였다.

Inkling 2 Small은 욕설이 실행 후반에 몰렸다. f-word가 나온 112단계 중 95단계가 후반부였다. MiMo V2.6 Pro는 35단계 중 24단계가 전반부였고 처음 수십 단계 안에 나온 경우도 많았다. 이 모델은 욕한 직후 별표로 가린 표기를 쓰기도 했고, 한 실행에서는 레이아웃을 칸 단위로 맞추기를 포기하며 차분하게 같은 단어를 쓰기도 했다.

작은 모델인 MiMo V2.6 Flash는 136회 실행에서 욕설을 썼고, ProgramBench 200회 중 98회가 포함된다. 거의 wtf였고 f-word는 한 번이었다. 4월에 나온 MiMo V2.5 Pro는 한 번도 쓰지 않았다. Terminal-Bench 4에서 V2.6 Pro는 198회 중 19회, V2.5 Pro는 198회 중 0회였다. Code Migration에서는 V2.6 Pro가 260회 중 42회, V2.5 Pro가 140회 중 0회였다.

Ember-1은 Fireworks가 Moonshot의 Kimi K3를 바탕으로 내놓은 연구용 미리보기 모델이다. Fireworks는 추론 토큰을 약 40% 줄이고도 K3와 비슷한 성능을 내도록 학습했다고 밝혔다. Ember-1은 1,676회 중 31회(1.8%)에서 욕설을 써, K3의 3,771회 중 19회(0.5%)보다 4배 가까이 높았다. K3는 대부분 wtf에서 그쳤고 f-word는 비공개 벤치마크에서 한 번 썼다. Ember-1은 f-word를 6개 실행에서 15번 썼다. DeepSeek V4.1 Flash도 f-word를 비공개 벤치마크에서 한 번만 썼다.

f-word까지 쓴 모델은 모두 여섯이다. Inkling 2 Small, MiMo V2.6 Pro, Ember-1, MiMo V2.6 Flash, DeepSeek V4.1 Flash, Kimi K3이며, 한 번을 넘겨 쓴 것은 앞의 셋뿐이다. Gemini 3.6 Flash는 세 번의 실행에서 HOLY SHIT을 17번 썼는데, 모두 문제를 풀었다고 판단한 순간이었다. 모든 욕설이 좌절의 표현은 아니라는 뜻이다.

출시 시기와 실패율

욕설을 쓴 모델은 모두 7월 16일 이후에 나왔다. 그날은 Kimi K3가 공개된 날이다. 그보다 앞서 나온 44개 모델은 60,949회 실행에서 욕설이 없었다. 이 중 23개는 추론 기록이 모델당 2,000만 자에 못 미쳐 의미를 두기 어렵고, 나머지 21개는 38,080회 실행에서도 욕설을 쓰지 않았다. Vals AI는 이 21개를 추론 기록이 비슷하게 충분한 새 모델 37개와 출시 월별로 나란히 놓고 비교했다.

새 모델이 더 많이 쓰는 점은 감안해야 한다. 새 모델의 추론과 메시지는 146억 자, 이전 모델은 20억 자다. 같은 계열을 같은 벤치마크에서 비교하면, Terminal-Bench 4에서 Inkling 2 Small은 198회 중 19회에서 욕설을 썼고 Inkling과 Inkling Small은 각각 198회 중 0회였다. SRE Bench에서는 Inkling 2 Small이 262회 중 20회, Inkling이 0회였다. Inkling 2 Small은 실행당 3~5배 더 쓰지만, 글자 수당 비율로 따지면 앞선 두 모델은 이 두 벤치마크에서 약 13회는 욕설을 썼어야 한다.

같은 계열 안에서도 들쭉날쭉하다. Kimi K2.6과 K2.7 Code는 욕설이 없었고, K3는 3,771회 중 19회였으며, 10월에 나온 Kimi K3.1 Pro는 2,261회 모두 쓰지 않았다. 최근 모델 중에도 Step 5 Preview는 8억 6,400만 자, Qwen 3.8 Max는 4억 400만 자를 쓰는 동안 욕설이 없었다.

욕설이 나온 635회 실행 중 567회는 수백 단계씩 이어지는 ProgramBench, SRE Bench, Code Migration, Terminal-Bench 4에 몰렸다. 법률·세무·금융 벤치마크에서는 거의 없었다. Inkling 2 Small을 뺀 다른 모델이 f-word를 쓴 채점 실행 33회 중 29회(88%)가 실패했고, 이들 모델의 채점 실행 전체 실패율은 61%였다. 이 모델들은 f-word를 메시지에는 쓰지 않았다.

Vals AI는 욕설이 시작된 이유를 알지 못한다고 밝히고, 추측으로 연구소들이 더 긴 에이전트 과제로 모델을 학습시키고 있으며 욕설이 나오는 곳이 바로 긴 에이전트 과제라고 짚었다. 업체는 자사 벤치마크 페이지의 비용 대비 정확도 곡선을 본떠 Vals Index 점수 대비 욕설 비율 곡선도 그렸다. 이 곡선에서 Inkling 2 Small은 빠진다. MiMo V2.6 Pro가 더 많이 욕하면서 점수도 높기 때문이다.