추론 모델이 생각하는 시간을 늘리면 대부분의 모델에서 '일부 학생이 합격했다'를 '전부는 아니다'로 읽는 경향이 줄어든다는 연구가 arXiv에 올라왔다. 논문은 시험한 오픈 추론 모델 대부분과 GPT-5에서 이런 변화가 나타났다고 보고했다.
연구진은 모델의 가중치를 고정하고 생각 분량만 바꿔 모델이 어떤 해석을 고르는지 기록했다. 그 결과 생각이 길어질수록 '일부'가 풍기는 '전부는 아니다', '또는'이 풍기는 '둘 다는 아니다'라는 함축이 취소됐다. 반면 맥락에 따라 의미를 읽어야 하는 추론, 예를 들어 간접적인 대답을 해석하는 능력은 개선됐다.
연구진은 모델의 추론 과정을 여러 지점에서 끊고 그때마다 답을 내게 하는 두 번째 방법도 썼다. 이 방법으로 해석이 바뀌는 지점을 확인했고, 모델이 먼저 함축을 포함한 해석을 떠올렸다가 뒤에 취소하는 것으로 보인다고 설명했다.
연구진은 추론 시점(inference-time)에 적용하는 탐색적 대응책도 제시했다. 추론 초기의 해석에서 답을 내게 하는 방식으로, 문자 그대로 읽어야 하는 문항의 정확도를 잃지 않으면서 함축을 되살렸다고 한다. 논문은 추론 모델을 평가할 때 정확도만 볼 것이 아니라 모델이 문장을 어떻게 해석하는지도 측정해야 한다고 주장했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.