CleanRM, 소량의 깨끗한 피드백으로 노이즈 낀 보상 모델 학습

소수의 깨끗한 피드백으로 노이즈가 섞인 선호 데이터에서 보상 모델을 학습하는 기법 CleanRM이 2026년 10월 15일 논문 공개 사이트 arXiv에 올라왔다. 연구진은 인간 피드백 강화 학습(RLHF)에서 쓰는 보상 모델 학습에 이 방법을 적용한다.

선호 데이터의 피드백 노이즈는 사람의 주관적 판단, 주석 작업의 실수, 불완전한 대규모 언어 모델(LLM) 평가자에서 생긴다. 이런 피드백으로 보상 모델을 표준 방식대로 학습하면 깨끗한 데이터 기준의 위험(clean risk)을 편향되게 추정한다고 연구진은 지적했다.

고전적 디노이징 기법은 대체로 노이즈 비율이 샘플 사이에서 균일하다고 가정한다. 연구진은 피드백 데이터의 노이즈가 본래 샘플마다 다르기 때문에 이 가정이 맞지 않는다고 설명했다.

CleanRM은 소량의 깨끗한 피드백을 활용해 최적 수송(optimal transport)으로 샘플별 노이즈 비율을 보정한다. 노이즈 낀 피드백에서 되돌린 선호의 결합 분포를 깨끗한 피드백의 분포와 맞춘 다음, 노이즈를 바로잡은 대리 손실 함수로 보상 모델을 학습한다.

연구진은 이 목적 함수가 깨끗한 데이터의 위험에 대해 편향되지 않음을 이론적으로 증명했다고 밝혔다. 폭넓은 실험에서 최신 디노이징 기준 기법(state-of-the-art denoising baselines)보다 성능이 높았고, 후속 RLHF 정렬 효과도 더 좋았다고 주장했다.