모델 한 쌍으로 만든 DPO 데이터, 여러 모델 데이터보다 성능 낮아

모델 한 쌍이 내놓은 응답만으로 직접 선호 최적화(DPO) 데이터를 만들면 여러 모델이 만든 데이터보다 학습 결과가 나빠진다는 연구가 2026년 10월 27일 arXiv에 올라왔다. 논문은 큰 모델의 응답을 선호 응답으로 삼는 델타 학습 가설이 어디까지 통하는지 모델 계열과 규모를 바꿔 가며 따져 봤다.

DPO는 보통 여러 모델로 구성한 풀에서 응답 쌍을 만들고, 외부 대규모 언어 모델 심판이 순위를 매긴 선호 데이터를 쓴다. 최근 제안된 델타 학습 가설은 이 과정을 줄여, 모델 두 개로 쌍을 만들고 더 큰 모델의 응답을 선호 응답으로 취급해도 비슷한 지도 신호를 얻을 수 있다고 본다.

고정된 모델 쌍이 만드는 편향

연구진은 이론과 실험 양쪽에서 고정된 모델 쌍이 체계적인 편향을 낳는다고 보였다. 이 편향은 생성기마다 다르며, 응답 품질과 무관하게 선호 라벨을 예측하는 단서로 작용한다.

그 결과 단일 쌍 데이터로 학습한 DPO 모델은 여러 모델의 선호 데이터로 학습한 모델보다 일관되게 성능이 낮았다. 큰 생성기가 더 좋은 응답을 내놓는데도 그랬다. 연구진은 이 격차를 보상 해킹과 부합하는 학습 동역학(training dynamics)으로 추적했다.

생성기 수를 늘리면 외부 심판 없이도 이 편향의 영향이 부분적으로 완화됨을 연구진은 보였다. 연구진은 선호 데이터를 구성할 때 생성기의 다양성이 중요한 요소라고 결론지었다.