MIPS, 강화학습 모드 붕괴 줄이는 역확률 스케일링 제안

연구진이 강화 학습에서 정책이 소수의 결과에만 확률을 몰아주는 모드 붕괴를 줄이는 방법으로 MIPS(Marginal Inverse Probability Scaling, 주변 역확률 스케일링)를 제안했다. 2026년 10월 14일 arXiv에 공개된 논문 초록에서 연구진은 분자 합성과 계통 추론 실험에서 GRPO와 기존 빈도 기반 방식이 붕괴한 조건에서도 MIPS가 다양하고 품질 높은 샘플링을 유지했다고 밝혔다.

기대 보상을 최대화하는 학습은 서로 다른 고품질 해답이 여럿 필요한 과제에서도 확률을 몇 개의 결과에 집중시킨다. 이 현상이 모드 붕괴다. 역확률 스케일링(IPS)은 GRPO 같은 그룹 기반 정책 경사 방식에서 각 보상을 해당 결과의 확률로 나눠 이를 완화한다. 이때 확률은 샘플링한 그룹 안에서 결과가 나타난 빈도로 추정한다.

가능한 결과의 수가 그룹 크기에 비해 크면 같은 결과가 거의 반복되지 않아 빈도 추정이 정보를 담지 못한다. 하나의 결과에 이르는 경로가 여러 가지라 결과 확률이 모든 경로의 합이 되는데, 이를 직접 계산하기도 어렵다. MIPS는 샘플링한 경로와, 각 결과로 이어지는 경로를 학습한 모델을 결합해 주변화 방식으로 확률을 평가한다.

Hypergrids는 정확한 샘플링 분포를 계산할 수 있는 실험 환경이다. 이 환경에서 결과 공간이 롤아웃 그룹보다 커질수록 빈도 기반 IPS는 성능이 떨어졌고, MIPS는 보상 분포라는 목표 가까이에 머물렀다.

연구진은 이 결과를 근거로 MIPS를 강화 학습의 모드 붕괴에 대한 해법으로 제시했다.