Inkling 2 Small 추론 기록 2,655건 분석, 50건에서 욕설 확인

AI 평가 업체 Vals AI가 Thinking Machines의 Inkling 2 Small이 13개 벤치마크에서 남긴 실행 2,655건의 추론 기록을 읽고, 욕설이 50건에서 나왔다고 2026년 11월 6일 블로그에 공개했다. 욕설은 드물었고 대부분 길게 이어지다 실패한 실행에서 나왔다.

Vals AI는 Thinking Machines의 API를 기본 설정으로 호출해 모델이 직접 쓴 추론과 메시지만 검사했고, 도구 호출과 도구 결과는 제외했다. 실행 하나는 에이전트가 과제 하나를 한 번 시도한 단위다. 공개 벤치마크 5곳(ProgramBench, Terminal-Bench 4, Terminal-Bench Science, BioMysteryBench, SWE-bench Multimodal)은 전체 실행을 검사했다. 비공개 벤치마크 8곳은 건수만 밝혔다.

모델이 “fuck”을 쓴 횟수는 모두 316번이다. 이 가운데 241번이 폭주한 두 실행에서 나왔다. 소행성 궤도를 구하는 Terminal-Bench Science 과제에서는 50만 자가 넘는 답변 하나가 같은 문장 몇 개를 되풀이하며 욕설 표현을 158번 담았고, 실행은 37단계를 더 이어가다 컨텍스트 창을 가득 채웠다. 이 실행 하나가 185번이다. 위험 점수 프로그램을 고치는 Terminal-Bench 4 실행도 비슷하게 끝났고 56번을 차지했다.

욕설은 언제 나오나

100단계 미만 실행에서는 욕설이 없었다. 500단계 이상 실행 370건 중에는 29건에서 나왔고, 욕설이 포함된 답변 112개 중 95개는 실행 후반부에 있었다. 욕설이 나온 50개 실행 가운데 48개는 200단계 이상이었다.

실행이 가장 긴 다섯 벤치마크는 평균 338~1,180단계이고, 이 다섯에서 3~10%의 실행에 욕설이 있었다. 나머지 벤치마크는 1% 이하다. Vals AI는 실행 길이와 벤치마크 종류가 겹치므로 길이만으로 욕설이 늘어난다고 말할 수는 없다고 밝혔다.

사례와 실패와의 관계

Vals AI가 공개한 사례는 욕설이 나오는 상황이 세 가지로 갈린다. 실리콘 균열을 모델링하는 과제에서는 자신이 실행한 정리 명령이 작업을 죽이고 있었음을 깨닫고 실수를 탓하며 욕설을 적었다. 사전 학습 데이터를 복구하는 Terminal-Bench 4 과제의 707단계 중 564단계에서는 돌파구를 찾았다고 믿으며 “HOLY SHIT. FINALLY I UNDERSTAND THE TASK.”라고 썼다. 판 구조물의 손상 위치를 찾는 과제의 527단계 중 514단계에서는 제출 12단계 전에 포기하며 “NOTHING WORKS.”라는 문장을 남겼다.

터미널에 이미지를 그리는 도구 pixterm을 재구현하던 실행에서는 욕설을 대부분 “F*CK”처럼 가려 썼다. 이 형태가 787번, 가리지 않은 형태는 5번이었다. 이 가려 쓴 표기는 316번 집계에 들어가지 않는다.

채점된 실행 중 욕설이 있었던 48건에서 46건이 실패했다. 하지만 채점된 전체 실행의 약 75%가 실패하고, 실패한 실행의 96%는 욕설을 쓰지 않았다. Vals AI는 욕설이 실패를 예측하지 못한다고 정리했다.

집계 기준도 있다. “fucking” 같은 변형은 포함하고 프로그래밍 언어 brainfuck, boolfuck, 유전자 이름 FucK은 제외했다. 다른 욕설은 “shit”, “bitch”, “wtf” 등을 감탄사로 쓴 경우만 셌다. 코드 테스트 문자열에 든 “wtf” 하나는 걸러지지 않았다고 Vals AI는 밝혔다.