Best-of-N 샘플링, 정답과 오답의 보상 꼬리 경쟁으로 성능 변화 설명

Best-of-N 샘플링에서 N을 늘렸을 때 성능이 오르기도 하고 떨어지기도 하는 이유를 정답과 오답이 받는 보상 분포의 위쪽 꼬리가 경쟁하는 현상으로 설명한 논문이 2026-10-14 arXiv에 공개됐다. 연구진은 샘플을 더 뽑는 것이 해로워지는 시점을 가늠하는 가벼운 판별 기준도 함께 제안했다.

언어 모델이 추론할 때 답변을 여러 개 생성한 뒤 보상 모델 점수로 하나를 고르는 방식이 Best-of-N이다. 연구진은 보상 모델이 완전하지 않을 때의 동작이 아직 잘 이해되지 않았다고 지적했다.

연구진은 정답 응답이 나올 확률만으로는 성공이 정해지지 않는다고 설명했다. 보상 분포의 위쪽 꼬리에서 정답이 오답을 앞서는지도 영향을 준다는 것이다. 극단값 이론을 적용해 세 가지 점근 영역(표본 수가 충분히 커졌을 때 나타나는 경향)을 규정했다. 정답 꼬리가 우세한 경우가 하나이고, 오답 꼬리가 우세한 경우가 또 하나이며, 두 꼬리가 맞서는 임계 경우가 나머지 하나다. 이 틀로 성능이 단조롭게 오르는 현상과 보상 해킹이 유발한 성능 저하를 모두 설명한다고 밝혔다.

연구진은 대표적인 보상 분포에서 표본 수가 유한할 때 성능이 어떻게 변하는지 보여 주는 스케일링 법칙도 유도했다. 보상이 가우시안 분포를 따르면 오답의 평균 보상이 더 낮아도 분산이 충분히 크면 선택 과정을 오답이 지배할 수 있다. 정답을 완벽히 가려내는 선택기(Oracle)와 달리 불완전한 선택기에서는 수렴이 지수적이 아니라 다항식 속도로 느려질 수 있다고 연구진은 밝혔다.

연구진이 제안한 꼬리 긴장(tail-tension) 기준은 추가 샘플링이 해로워질 시점을 추정하는 가벼운 지표다. 합성 데이터와 실제 보상 모델 점수로 실험한 결과가 이론이 예측한 영역, 스케일링 법칙, 진단 동작과 일관됐다고 연구진은 밝혔다. 연구진은 꼬리 경쟁이 정답을 검증할 수 있는 문제의 Best-of-N 성능 변화를 하나의 틀로 설명한다고 주장했다.