다수결 보상 강화학습, 정답 보상과 같은 방향으로 학습한다는 연구

모델이 스스로 만든 여러 답의 다수결을 정답 삼아 학습하는 강화 학습이 정답 라벨로 학습할 때의 이득 대부분을 회복하는 이유를 설명한 논문이 arXiv에 2026년 10월 14일 올라왔다. 논문 제목은 'Wrong Votes, Right Gradients'다. 저자들은 다수결 보상의 갱신 방향이 정답 보상의 갱신 방향과 사실상 같다고 주장했다.

다수결은 모델이 가장 자주 내는 답을 돌려줄 뿐이어서 정답에 관한 새 정보를 더하지 못한다. 프롬프트 하나만 놓고 보면 이 방식이 통하는 이유를 설명하기 어렵다는 것이 논문의 출발점이다. 저자들은 대신 배치 단위의 학습 갱신을 분석 단위로 삼아야 한다고 주장했다.

오류가 한 방향으로 쏠릴 때만 문제가 된다

모델 파라미터는 모든 프롬프트가 공유한다. 논문은 실용적인 배치 크기에서 프롬프트 자신의 그래디언트가 그 프롬프트 출력 변화의 1% 미만만 설명한다고 밝혔다. 따라서 잘못된 라벨은 그 오류가 여러 프롬프트에서 같은 방향을 가리킬 때만 영향을 준다.

저자들은 다수결 갱신을 정답 갱신과 비교해 크기가 줄어드는 축소와 방향이 틀어지는 오배향으로 나눴다. 오류가 프롬프트마다 제각각이면 라벨이 얼마나 자주 틀리는지와 상관없이 배치가 커질수록 오배향이 사라진다고 보였다.

모델 5개에서 측정한 결과

연구진은 모델 5개에서 응답별 그래디언트를 측정했다. 다수결 오류는 무작위 보상을 쓴 기준선만큼 서로 일관성이 없었다. 다수결 갱신은 정답 갱신과 일치하는 정도가, 독립된 정답 갱신 둘이 서로 일치하는 정도와 비슷했다. 잡음을 보정한 코사인 유사도는 오차 범위 안에서 1이었다.

정답 라벨의 최대 30%를 무작위로 뒤집어도 갱신 방향은 유지됐다. 같은 비율을 공통 규칙으로 뒤집으면 방향이 무너졌다. 학습된 보상 모델처럼 모든 프롬프트에서 특정 유형의 응답을 선호하는 보상은 정답 갱신 방향에 측정 가능한 수준으로 못 미쳤다.

이 동등성은 검토한 모든 체크포인트에서 성립하지만 국소적이다. 보류한 문항의 다수결 정확도(정확도)로 비교하면 정답 보상으로 학습한 쪽이 끝내 앞선다. 논문은 자기 생성 라벨이 검증을 대신할 수 있는지는 오류율이 아니라 오류의 일관성이 결정한다고 결론지었다.

이 결과대로라면 강화 학습에서 자기 생성 라벨을 쓸 때 확인할 항목은 라벨 정확도보다 오류가 프롬프트 전반에서 같은 방향으로 쏠리는지다. 다만 근거는 논문의 측정 5개 모델과 검토한 체크포인트에 한정된다.