정답 라벨 없이 모델 자신의 다수결에 보상을 주는 RLVR(검증 가능한 보상 기반 강화 학습)이 왜 결국 무너지는지를 이론으로 설명한 논문이 2026년 10월 27일 arXiv에 공개됐다. 논문은 학습에 쓰는 문제가 많을 때만 붕괴가 나타나는 현상을, 문제들이 파라미터를 공유하며 생기는 집단적 불안정성으로 풀이한다.
라벨 없는 RLVR은 처음에는 추론 능력을 높이지만 어느 시점부터 무너진다. 모델이 스스로 매기는 보상은 1에 수렴하는데 정확도는 떨어지고, 심하면 모든 문제에 같은 답을 내놓는다.
붕괴가 일어나는 원리
연구진은 문제들이 파라미터를 공유하는, 풀이가 가능한 다문제 모델을 세웠다. 문제마다 선호하는 답이 다른 집단에서는 문제 하나의 자기강화 drift F의 평균 기울기 ⟨F'⟩가 양수인 동안 공유된 작은 교란이 계속 증폭된다. 이 조건은 문제들이 아직 답을 확신하지 못하는 동안 성립한다.
문제별로 답이 뾰족해지는 속도는 학습 문제 수 N에 반비례해 느려진다. 반면 공유 모드는 N과 무관하게 공유 결합 세기 λ의 제곱에 비례해 커진다. 두 속도의 경쟁에서 임계 문제 수 N_c ≃ ln(1/δ)/(λ²G)가 나온다. δ는 공유 모드의 초기 씨앗, G는 초기 확신도가 높을수록 줄어드는 값이다.
시뮬레이션과 소형 모델 실험
모델 시뮬레이션은 이 예측과 맞았다. 붕괴는 급격한 전이로 나타났고, N_c는 로그 보정을 제외하면 λ의 -2제곱에 비례했다. 결합 방식, 확신도 분포, 학습 변형이 달라도 증폭도 λ²NG의 임계값은 하나로 같았다. 배치 크기에는 로그 형태로 의존했고, 초기 모델이 확신에 차 있으면 붕괴가 없었다.
커널 버전의 이론에서는 균일한 집단 모드를 안정시키는 두 요소가 도출됐다. 하나는 sharpening을 일반화하는 보호 결합이고, 다른 하나는 주변 엔트로피 보너스다. 작은 트랜스포머로 한 라벨 없는 강화 학습에서는 공유 방향을 제거하면 붕괴가 완전히 사라지고 되살리면 다시 붕괴했다. 붕괴 정도는 학습 데이터 크기와 기반 모델의 엔트로피가 클수록 커졌다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.