Flat-RLVR 제안, 강화학습 추론 모델 정확도 유지하며 답변 다양성 개선

연구진이 검증 가능한 보상을 쓰는 강화학습(RLVR)에서 정책 분포가 한쪽으로 쏠리는 현상을 줄이는 Flat-RLVR을 제안했다. 이 방법은 샤프니스 인식 최소화로 보상이 평평한 영역을 찾아 대규모 언어 모델의 사후 학습에 적용한다. 논문은 2026년 10월 21일 arXiv에 올라왔다.

Flat-RLVR은 GRPO 변형과 결합해 샘플링 효율과 추론 역량 사이에서 더 나은 절충을 얻는 것을 목표로 한다고 연구진은 설명했다.

논문에 따르면 RLVR, 특히 GRPO 기반 방식은 LLM 사후 학습에서 가장 널리 쓰이는 방법으로 부상했다. RLVR은 LLM의 추론 능력을 높이는 데 매우 효과적이지만, 흔히 분포 샤프닝을 유발한다. 분포 샤프닝은 강화 학습된 정책 분포가 지나치게 뾰족해져 드물지만 정답인 풀이 경로가 점점 억제되고 샘플의 다양성이 줄어드는 현상이다.

연구진은 보상이 평평한 최적점을 찾으면 정책 분포가 매끄러워진다고 보고, 평평한 보상의 RLVR이 분포 샤프닝 감소와 이론적으로 연결된다고 주장했다. 실험에서는 한 번 시도했을 때의 정확도를 유지하면서 샘플 다양성이 개선됐다고 밝혔다.