추론 모델이 풀이 도중 'wait'라고 쓰고 앞 단계를 다시 따지는 습관은 강화 학습이 새로 가르친 것이 아니라 학습 데이터에서 물려받은 것이라는 분석이 arXiv 논문 「Inherited, Not Invented」에 실렸다. 논문은 2026년 10월 22일 공개됐다.
연구진은 공개 모델의 학습 이력을 거슬러 올라가며 이 단어를 추적했다. 등장 빈도, 위치, 형태, 쓰임을 정답 라벨 없이 재는 지표를 썼고, 일부러 오류를 넣어 보는 시험도 함께 했다. 지표와 시험 계산은 모두 모델이 샘플링한 출력에서 이뤄졌다. 기존에는 강화 학습이 추론 모델에게 'wait'를 쓰게 가르친다고 여겨 왔지만, 정확도가 크게 오르는 데 이 단어가 꼭 필요하지는 않다고 연구진은 지적한다.
기반 모델에 이 단어가 없는 경우, 강화 학습만 적용하는 제로 RL은 거의 새로 만들어 내지 못했다. 이런 모델에서 MATH-500 정확도는 크게 올랐지만 'wait'는 거의 나타나지 않았다. 단어는 학습 데이터와 함께 들어왔다. OLMo-3에서는 중간 학습(mid-training) 단계가 그 경로였다. 또 추론 과정 기록으로 하는 미세 조정은 기반 모델에 단어가 없는 모델 가운데 대부분에 이를 심었다.
기반 모델이 이미 이 단어를 쓰는 경우에는 결과가 갈렸다. 공개된 RL-Zero 방식 두 가지(OLMo-3, MiMo)는 모두 사용 빈도를 여러 배로 늘렸다. 같은 기반 모델에 KL 항 없이 GRPO를 적용하면 늘지 않았다. OLMo-3의 강화 학습 방식은 단어의 형태가 닳아 없어지게 했고, 이 단어를 더 민감하면서도 더 관대한(liberal) 경보로 만들었다. 여기서 관대하다는 것은 경보가 울리는 기준이 느슨해져 더 쉽게 울린다는 뜻이다. 지도 미세 조정 뒤에 하는 강화 학습은 거의 영향을 주지 않았고, 연구진의 GRPO 방식은 미세 조정으로 심어 둔 표지를 오히려 지웠다.
연구진은 이 단어의 빈도만으로 강화 학습이 추론 능력을 이끌어냈는지 판단할 수 없다고 결론지었다. 수정 행동을 재는 지표에 LLM 평가자를 쓰는 데도 주의를 당부했다. 자동 평가자가 사람이 라벨을 붙인 추세를 뒤집을 수 있기 때문이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.